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本 书 较 为 系统 地 介绍 了 非 线性 最 优化 问题 的 基本 理论 和 算法 及 其 主要 算法 
的 Matlab 程序 设计 . 主要 内 容 包括 (精确 或 非 精 确 ) 线 搜索 技术 , 最 速 下 降 法 与 
(修正 ) 牛顿 法 , 共 斩 梯 度 法 , 拟 牛 顿 法 , 信赖 域 方法 , 非 线性 最 小 二 乘 问题 的 解 
法 , 约束 优化 问题 的 最 优 性 条 件 , 昼 函 数 法 , 可 行 方 癌 法 , 二 次 规划 问题 的 解法 ， 
序列 二 次 规划 法 以 及 附录 等 . 设计 的 Matlab 程序 有 精确 线 搜索 的 0.616 法 和 抛 
物 线 法 , 非 精 确 线 搜索 的 Armijo 准则 , 最 速 下 降 法 , 牛顿 法 , 再 开始 共 斩 梯 度 法 ， 
BFGS 算法 , DFP 算法 , Broyden 族 方法 , 信赖 域 方法 , 求解 非 线 性 最 小 二 乘 问题 
的 二 -M 算法 , 解约 束 优化 问题 的 乘 子 法 , 求解 二 次 规划 的 有 效 集 法 , SQP 子 问题 
的 光滑 牛顿 法 以 及 求解 约束 优化 问题 的 SQP 方法 等 . 此 外 , 书 中 配 有 丰富 的 例 
题 和 习题 , 同时 , 作为 附录 介绍 了 Matlab 优化 工具 箱 的 使 用 方法 . 本 书 既 注重 计 
算 方 法 的 实用 性 , 又 注意 保持 理论 分 析 的 严谨 性 , 强调 数值 方法 的 思想 和 原理 在 
计算 机 上 的 实现 . 

本 书 的 主要 阅读 对 象 是 数学 与 应 用 数学 和 信息 与 计算 科学 专业 的 本 科 生 , 应 
用 数学 、 计 算数 学 和 运筹 学 与 控制 论 专业 的 研究 生 , 理工 科 有 关 专 业 的 研究 生 ， 
对 最 优化 理论 与 算法 感 兴趣 的 教师 及 科技 工作 人 员 . 读者 只 需 具 备 微 积 分 、 线 性 
代数 和 Matlab 程序 设计 方面 的 初步 知识 . 
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运筹 学 的 理论 与 方法 广泛 应 用 于 工业 与 农业 、 交 通 与 运输 、 国 防 与 建筑 以 
及 通信 与 管理 等 各 个 部 门 各 个 领域 ; 它 主 要 解决 最 优 计 划 、 最 优 分 配 、 最 优 决 策 
以 及 最 佳 设 计 和 最 佳 管理 等 最 优化 问题 . 本 书 所 介绍 的 最 优化 方法 又 称 为 数学 规 
划 , 是 运筹 学 的 一 个 重要 分 支 , 也 是 计算 数学 和 应 用 数学 的 一 个 重要 组 成 部 分 . 

本 书 系统 地 介绍 了 非 线性 优化 的 理论 与 方法 及 其 Matlab 程序 设计 , 其 主要 
阅读 对 象 是 数学 与 应 用 数学 和 信息 与 计算 科学 专业 的 本 科 生 , 应 用 数学 、 计 算数 
学 和 运筹 学 与 控制 论 专业 的 研究 生 , 理工 科 有 关 专 业 的 研究 生 , 对 最 优化 理论 与 
算法 感 兴趣 的 教师 及 科技 工作 人 员 . 读者 只 需 具 备 微 积 分 、 线 性 代数 和 Matlab 
程序 设计 方面 的 初步 知识 . 

本 书 的 主要 内 容 包括 : 最 优化 理论 基础 ; (精确 或 非 精确 ) 线 搜索 技术 ; 最 速 
下 降 法 与 (修正 ) 牛顿 法 ; 共 斩 梯 度 法 ; 拟 牛顿 法 ; 信和 赖 域 方法 ; 非 线性 最 小 二 乘 问 
题 的 解法 ; (约束 优化 问题 的 ) 最 优 性 条 件 ; 罚 函 数 法 ; 可 行 方向 法 ; 二 次 规划 问题 
的 解法 ; 序列 二 次 规划 法 以 及 附录 等 . 设计 的 Matlab 程序 有 精确 线 搜 索 的 0.616 
法 和 抛物 线 法 , 非 精确 线 搜索 的 Armijo 准则 , 最 速 下 降 法 , 牛顿 法 , 再 开始 共 斩 
梯度 法 , 对 称 秩 1 算法 , BFGS 算法 , DFP 算法 , Brovden 族 方法 , 信赖 域 方法 , 求 
解 非 线性 最 小 二 乘 问题 的 L-M 算法 , 解约 束 优化 问题 的 乘 子 法 , 求解 二 次 规划 
的 有 效 集 法 , 牛顿 - 拉 格 朗 日 算法 , SQP 子 问 题 的 光滑 牛顿 法 以 及 求解 约束 优化 
问题 的 SQP 方法 等 . 此 外 , 书 中 配 有 丰富 的 例题 和 习题 , 同时 , 作为 附录 介绍 了 
Matlab 优化 工具 箱 的 使 用 方法 . 本 书 既 注 重 计算 方法 的 实用 性 , 又 注意 保持 理论 
分 析 的 严谨 性 , 强调 数值 方法 的 思想 和 原理 在 计算 机 上 的 实现 . 

本 书 具 有 如 下 特点 : 

1. 介绍 非 线性 优化 中 最 重要 最 基础 的 理论 与 方法 , 它们 是 研究 各 种 复杂 的 
最 优化 问题 的 基础 和 工具 . 

2， 最 优化 方法 与 Matlab 程序 设计 相 结合 , 采用 当前 最 流行 的 数学 软件 
Matlab 编制 了 主要 优化 算法 的 Matlab 程序 . 所 有 程序 都 在 计算 机 上 经 过 调试 和 
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运行 , 简洁 而 不 乏 准 确 . 
3. 本 书 所 给 的 每 一 程序 之 后 都 给 出 了 相应 的 计算 实例 . 这 不 仅 能 帮助 学 生 

解 程序 里 所 包含 的 最 优化 理论 知识 , 而 且 对 培养 学 生 处 理 数 值 最 优化 问题 的 能 
力也 大 有 神 益 . 

4. 全 书 每 章 都 配备 了 一 定数 量 的 习题 , 习题 包括 理论 分 析 题 和 编程 实验 题 ， 
以 加 强 学 生 对 所 学 知识 的 理解 和 巩固 . 

本 书 的 编写 和 出 版 得 到 了 国家 自然 科学 基金 项 目 (编号 : 10661005) 福建 省 自 
然 科 学 基金 项 目 (编号 : 2009J01002) 的 部 分 资助 , 在 此 作者 表示 由 应 的 感谢 作 
者 还 要 感谢 福建 师范 大 学 教务 处 及 数学 与 计算 机 科学 学 院 给 予 的 帮助 和 支持 . 此 
外 , 本 书 之 所 以 能 够 顺利 付 梓 , 在 很 大 程度 上 要 归功 于 夫人 刘 菊 庄 女 士 给予 的 理 
解 和 支持 , 深 表 感谢 . 
由 于 作者 水 平 有 限 , 加 之 时 间 人 仓促, 书 中 的 缺点 和 错误 在 所 难免 , 敬 请 专家 
和 读者 批评 指正 . 
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第 一 和 章 ” 最 优化 理论 基础 


1.1 最 优化 问题 的 数学 模型 


通俗 地 说 ， 所 谓 最 优化 问题 ， 就 是 求 一 个 多 元 函数 在 茶 个 给 定 集合 上 的 极 
值 . 几乎 所 有 类 型 的 最 优化 问题 都 可 以 用 下 面 的 数学 模型 来 描述 : 

















min 帮 Z)， 


(1.1) 
st. ZE 开 ， 


这 里 ， 五 是 某 个 给 定 的 集合 ( 称 为 可 行 集 或 可 行 域 )，j(z) 是 定义 在 集合 天 上 
的 实 值 函数 . 此 外 ， 在 模型 中 ，7z 通常 称 为 决策 变量 , st. 是 subject to ( 受 
限于 ) 的 缩写 . 

人 们 通常 按照 可 行 集 的 性 质 对 最 优化 问题 进行 一 个 大 致 的 分 类 : 

线性 规划 和 非 线性 规划 . 一 可 行 集 是 有 限 维 空间 中 的 一 个 子 集 ; 

组 合 优化 或 网 络 规划 . 一 可 行 集中 的 元 素 是 有 限 的 ; 

动态 规划 . 一 可 行 集 是 一 个 依赖 时 间 的 决策 序列 ; 

最 优 控制 . 一 可 行 集 是 无 穷 维 空间 中 的 一 个 连续 子 集 . 


本 书 主 要 考虑 在 工程 设计 中 有 着 重要 应 用 的 非 线性 规划 ， 其 数学 模型 为 












































Imin DZ)， (1.2) 
st， Pi(Z) 三 0 三 1 1 (1.3) 
gi(Z) 过 0) 一 1 ;7 (1.4) 




















其 中 ，jz ii G=1 0) 及 oz)G=1 ,mm) 都 是 定义 在 了 ”上 连续 可 
微 的 多 元 实 值 函数 , 且 至 少 有 一 个 是 非 线 性 的 . 记 








五 ={1:jui(Z)= 王 0 7=1 人 :9i(Z) 二 0 (1.5) 
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第 一 章 最 优化 理论 基础 81L.2 向量 和 欠 阵 范 数 


若 指标 集 忆 UT = 由 ee 否则 称 为 约束 优化 问题 . 特别 
地 , 把 互 夭 0 且 了 上 = 及 的 优化 问题 称 为 等 式 约 束 优化 问题 ; 而 把 了 虐 夭 1 且 
互 =1 的 优化 问题 称 为 不 等 式 约 束 优化 问题 . Flz 1 称 为 目标 函数 ,万 (z)，9j(z) 
G= 了 57=1 ,0) 称 为 约束 函数 . 此 外 ， 通 和 常 把 目标 函数 为 二 次 函数 而 
约束 函数 都 是 线性 函数 的 优化 问题 称 为 二 次 规划 ; 而 目标 函数 和 约束 函数 都 是 
线性 函数 的 优化 问题 称 为 线性 规划 . 














1.2 问 量 和 和 矩阵 范 数 


在 算法 的 收 和 敛 性 分 析 中 ， 需 要 用 到 向 量 和 和 托 阵 范 数 的 概念 及 其 有 关 理 论 . 
设 棚 "” 表示 实 妈 维 向 量 空 间 ， 陈 "x” 表示 实 交 阶 窍 阵 全 体 所 组 成 的 线性 空间 . 
在 这 两 个 空间 中 ， 我 们 分 别 定义 向 量 和 矩阵 的 范 数 . 

向 量 z e 疏 " 的 范 数 ‖z|| 是 一 个 非 负 数 ， 它 必须 满足 以 下 条 件 : 

CL1) |z|| >0，llzl = 0 < 全 2 一 0; 

42) 》Xz|| = | 和 zl|，A E R; 
3) 2z 十 外 友 zl+lol 

司 量 z = (Zi Zn) 的 产 范 数 定义 为 


lzle= (站 (0) 







































































常用 的 向 量 范 数 有 
1- 范 数 : lz = 半 |2ai; 
让 


7 刀 和 
2 范 数 : zl 一 (于 加 站 
一 


co- 范 数 : lzle= = 一 全 2. 


矩阵 4 e 阴 "“" 的 范 数 是 一 个 非 负 实数 ， 它 除了 满足 跟 癌 量 范 数 相 似 的 三 条 
性 质 之 外 ， 还 必须 具备 乘法 性 质 : 
C4) |4BI< 4IBl， 4 B ERnxn， 
如 果 一 矩阵 范 数 | |， 人 范 数 上 .|| 满足 下 面 的 不 等 式 
45) |4zl < 14llulzl， > < 
则 称 矩 阵 范 数 | |， 和 向 量 范 数 | .| 是 相 容 的 进一步 ， 若 存在 z 尖 0 使 成 立 


_|4zl _ 
上 4 = 人 









































ax | 4z||， 4 E 了 "xm， (1.7) 
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第 一 章 最 优化 理论 基础 81L.2 ”向量 和 和 矩阵 范 数 


则 称 矩 阵 范 数 | . | 是 由 向 量 范 数 | . | 诱导 出 来 的 算 子 范 数 ， 简 称 算 子 范 数 ， 有 
时 也 称 为 从 属于 向 量 范 数 | . | 的 矩阵 范 数 ， 此 时 向 量 范 数 和 算 子 范 数 通常 采用 
相同 的 符号 | .| 

不 难 验证 ， 从 属于 向 量 范 数 |zl。，|lzl，llzll。 的 矩阵 范 数 分 别 为 






































4||l。 = max 一 oz， 
1T<7<7 


4 = max 3 
1<j<n 全 


4 = max{VA| 和 Ae A(474)}， 
它们 分 别称 作 行 和 范 数 、 列 和 范 数 和 谱 范 数 ， 


本 书 在 讨论 各 种 和 欠 代 算法 的 收敛 性 时 ， 通 常 采 用 谱 范 数 和 按 下 述 方式 定义 
的 下- 范 数 : 




















Hip= ( 袜 和 二 -VE (L8) 


2 一 1 7 一 | 
现在 我 们 来 讨论 向 量 序列 和 和 抑 阵 序列 的 收敛 性 . 我 们 知道 ， 若 {z9}2，C 
R"， 则 

















达 2 
limn z 二 zz< 和 > limn zt 一 Ti 1 一 1 工 .…… ;7 
天 一 co 天 一 co 


类 似 地 ， 若 {4}， C Rn"x， 刚 


lim 4 = 4<> limoa 一 ap 了 一 1 ,7. 
KE 一 co 2 


下 一 co 


为 了 利用 范 数 来 描述 上 述 极限 ， 必 须 建 立 向 量 范 数 的 等 价 定 理 以 及 矩阵 范 数 的 


等 价 定理 . 




















定理 1 () 设 ‖ .| 和 |. 必 是 定义 在 PR 上 的 两 个 向 量 范 数 ， 则 存在 两 个 正 
数 cl co， 对 所 有 zz E 了 月 "” 均 成 立 





cllz| < zl < cllz|， 





(2) 设 | .| 和 |. 必 是 定义 在 到 "xn” 上 的 两 个 给 阵 范 数 ， 则 存在 两 个 正 数 
7021， 7l2， 对 所 有 4 E 了 椒 "x 均 成 立 














zal4ll < 14 人 < mall4|， 

















第 一 章 ”最 优化 理论 基础 国 目 本 81.3 函数 的 可 微 性 与 展 


下 

















下 面 ， 我 们 利用 范 数 的 概念 来 等 价 地 定义 向 量 序列 和 和 珑 阵 序列 的 收敛 性 . 


定理 2 (1) 设 {zt} 为 即 维 向 列 序列 ，|| .| 为 定义 在 下 "上 的 向 量 范 数 ， 则 











limn zt 一 2 < 全 lim lz 一 z|| = 0; 
有 一 co 太 一 co 


(2) 设 {4(9} 为 灵 X 灵 短 阵 序列 ，| .| 为 定义 在 月?xm” 上 的 向 量 范 数 ， 则 








lim 4 = 4 < limn 4 -4|| = 0 
下 一 co 大 一 oo 


1.3 ”上 盟 数 的 可 微 性 与 展开 


本 节 主 要 介绍 后 文 经 常 需要 用 到 冯 元 函数 的 一 阶 和 二 阶 导 数 以 及 泰勒 展开 












































定义 工 设 有 元 实 函数 Flz),， 其 中 自 变 量 = (zi ,Zn)7 E 及 ". 称 向 量 
TY 网  ， hT 
va =- (区区 2) (9) 
为 F(z) 在 并 处 的 一 阶 导 数 或 梯度 . 称 和 矩阵 
5zj(lz) szjlz) 92/ 
Oz3 DZzlpzo Dzlozn 
921z) 627(z) 02 太 7) 
V2f(Z=| arorzl 6 brorn (1.10) 


Bf(m sj。 szj 
DOz1 OO7o DZ2 
为 FLz) 在 处 的 二 阶 姓 数 或 Hesse 短 阵 . 若 梯度 VF(z) 的 每 个 分 量 函 数 在 都 
连续 , 则 称 卫 在 z 一 阶 连续 可 徽 ; 若 Hesse 阵 V2 Hz) 的 各 个 分 量 函 数 都 连续 ， 
则 称 上 在 z 二 阶 连续 可 微 . 
若 厂 在 开 集 万 的 每 一 点 都 连续 可 微 ， 则 称 上 在 万 上 一 阶 连 续 可 微 ; 若 / 
在 开 集 万 的 每 一 点 都 都 二 阶 连续 可 微 ， 则 称 上 在 万 上 三 阶 连续 可 微 . 

















由 上 述 定义 不 难 发 现 ， 若 地 在 z 二 阶 连 续 可 微 ， 则 
Btz) 92f(] 
OziO7i 加 DZzjOzi ? 加 


即 Hesse 阵 V2 jz) 是 对 称 阵 . 
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例 1 设 二 次 函数 
Flz) = cz 十 5 
其 中 cE 了" ER2xn 是 对 称 阵 . 那么 ， 不 难 计算 它 在 2 的 梯度 及 Hesse 为 
VjFz)=c+z，V2Hz) = 也 
例 2 (泰勒 展开 ). 设 函 数 了: 琢 " 一 下 连 续 可 微 ， 那 么 
































FFz 二 站 = fo+ 上 / VF(z 二 Tp)7pd7 


= jz)+VAz+EhI SeE(0,1) 
= jz)+VAFz) +o(lpl). 
进一步 ,车 函数 上 是 二 次 连续 可 微 的 , 则 有 


jzD 十 尹 ) 王 jaTYHGOTR+ 人 -DY21e+midr 


一 JJ TVA(IRT 357V2H(z 二 6 ceE(0,1) 


JJ+VH(zm + 3MV27(oR+odlal 


工 
Vjz+P) = v7O+ 1 V2Fz 十 Tj)7 Ad7 


= Vjz)+TV21z+ETD Se(0,H) 

= VJ(z)+YV27z) 二 ol 让 

下 面 简 单 介绍 一 下 向 量 值 函 数 的 可 微 性 及 中 值 定 理 . 设 有 向 量 值 函 数 

下 = () 丽 于 :及 "一 及" 若 每 个 分 量 函 数 玉 都 是 (连续 ) 可 微 的 ， 则 

称 下 是 (连续 ) 可 微 的 . 同 量 值 函 数 焉 在 z 的 导数 严 E 了 "7 是 指 它 在 z 的 
Jacobi 和 阵 , 记 为 刀 (z) 或 Jr(z), 即 







































































OFm(zZ) 0Fm(Z) DPI(Z) 

DZz1 Dro DZ 
OFoZ) OFro(Z) DOFo(z) 

忆 (7zZ) := Jr(z) := Ozl DZ2 Dzn 
DFn(Z) DOPn(Z) DFn(Z) 

DOz1 D7o DZ 
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考虑 到 标量 函数 的 梯度 定义 , 有 时 也 把 向 量 函 数 已 的 Jacobi 矩阵 的 转 置 称 为 三 
在 2 的 梯度 ， 记 为 

丰 而 二 大 网 三 风 ( 网 网 同 < VIAOO) 
不 难 发 现 ， 例 四 中 关于 多 元 实 函数 的 一 些 结论 可 以 推广 到 向 量 值 函数 的 情形 . 例 
如 ， 知 向 量 值 函 数 已 : 了 "一 了 ”是 连续 可 微 的 ， 则 对 于 任意 的 z, 娘 E 有", 有 






























































严 (z 十 门 三 下 (z) 十 让 VE(z 十 FJ Pad7. 


对 于 疝 量 值 函数 恶 , 也 可 以 定义 Lipschitz 连续 性 的 概念 . 


定义 2 设 向 量 值 函 数 下 :下 "” 一 了 mm ZER" 称 下 在 zz 是 Lipschitz 连续 
是 指 存在 常数 元 > 0, 使 得 对 任意 的 WE 到"， 满足 












































的 





眉 


(一 FSZz 一 外 (II) 


其 中 工 称 为 Lipschitz 常数 . 若 式 对 任意 的 Z, VE 取 " 都 成 立 , 则 称 下 在 
”内 是 Lipschitz 连续 的 . 
在 和 迭 代 法 的 收敛 性 分 析 中 , 有 时 需要 用 到 向 量 值 函 数 的 “中 值 定 理 ”, 现 引 
述 如 下 . 
定理 3 设 向 量 值 函 数 已 : 了 "一 有 m 连续 可 微 , 那么 
(1) 对 任意 的 zy E 到 "有 


由 







































































(2) 对 任意 的 zzE 了 "有 


上 一 Fa) 一 已 (zt 人 一 引 | < | 上 Re+ty 一 功 ) 一 局 lz 一 外 ， 




















由 上 述 定理 的 结论 (2) 可 推 得 下 面 的 结论 . 


推论 1 设 向 量 值 函数 已 : 朋 "” 一 及 m 是 连续 可 微 的 ， 且 其 Jacobpi 天 阵 映射 
是 Lipschitz 连续 的 , 即 存在 常数 二 > 0 使 得 


























| 及 (一 玉芝 了 一， YE 了 ”. (1.12) 











则 对 任意 的 z, 户 E 了 "有 








IPT 月 一 FI 一 GM< SEA (1.13) 


全 
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1.4 ”加 集 与 串 范 数 
本 节 介 绍 凸 集 、 锥 和 多 面体 的 有 关 概 念 . 














定义 3 设 集合 厂 C 了". 称 集合 姜 为 凸 集 , 是 指 对 任意 的 Z,VEDD 及 任意 
的 实数 入 E [0,1, 都 有 和 Xz 十 (1 一 入 )V E 姜 . 




















由 上 述 定义 不 难 知道 凸 集 的 几何 意义 . 即 对 非 空 集合 D C 陈 ", 若 连接 其 中 
任意 两 点 的 线段 仍 属 于 该 集合 ， 则 称 该 集合 忆 为 凸 集 . 
不 难 证 明 凸 集 的 下 列 基本 性 质 . 




















引 理 二 设 万 ,Di D。 是 凸 集 ，a 是 一 实数 , 那么 

(1) aD={ 人 yy=az, zeEDD} 是 凸 集 . 

(2) 交集 Di mD，。 是 凸 集 . 

(3) 和 集 Di +Dao={zz=z+WzEDiyED 也 是 凸 集 . 


例 3 7 维 欧 色 空间 中 的 1 个 点 的 上 西 组 合 是 一 个 凸 集 . 即 集合 


7 7 
人 = 半 welns 2 “azo0>uw=]| 
1 一 1 ?一 上 














是 凸 集 . 











例 4 m 维 欧 氏 空间 中 的 超 平面 忆 = {z|crz = a} 是 一 个 凸 集 ， 其 中 a E 
cE 慌 "\{0} 是 超 平面 的 法 向 量 . 此 外 , 下 面 的 四 个 半空 间 





、 














(1) 正 的 闭 半空 间 + = {zlerz > a}，(2) 负 的 闲 半 空间 刀 + = {zlcrz < ay 
(3) 正 的 开 半 空间 + = {zlerz > a}，(4 负 的 开 半空 间 万 + = {zlcrz < al. 




















例 5 以 ze 了 琢 "” 为 起 点 , qd E 形 "\{0} 为 方向 的 射线 














r(2Z0id) := 一 {ZER"z=2+ad auw>0} 
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定义 4 集合 站 CRR" 的 凸 包 (convexhul) 是 指 所 有 包含 万 的 凸 集 的 交集 ， 
记 为 





其 中 C 为 西 集 . 

下 面 我 们 给 出 锥 和 吓 锥 的 定义 . 

定义 5 设 非 空 集合 CO C 下 ". 若 对 任意 的 ZE C 和 任意 的 实数 入 > 0， 
有 和》 EC, 则 称 C 为 一 个 锥 (conej. 车 C 同时 也 是 西 集 ,， 则 称 C 为 一 个 凸 锥 


(convex cone). 此 外 , 对 于 锥 C, 若 0 EC, 则 称 C 是 一 个 失 锥 (pointed cone). 相 
应 地 , 包含 0 的 凸 锥 称 为 拓 凸 锥 ， 





























例 6 多 面体 {TZ E 陈 "|4z > 0} 是 一 个 尖 凸 锥 , 通常 称 之 为 多 面 锥 (polyhedral cone)， 


例 7 集合 

















RY+ := 一 {zeER 了 Ri 二 01=12 1)} 


是 一 个 失 凸 锥 , 通常 称 之 为 非 负 锥 (nonnegative orthant)， 相应 地 , 吓 锥 


























Ri ={ZER >07=12 
称 为 正 锥 (positive orthant)， 
有 了 吓 集 的 概念 之 后 ， 就 可 以 定义 巴 集 上 的 所 谓 凸 函数 ， 


定义 6 设 函 数 上 :DCR" 一 取 , 其 中 万 为 凸 集 . 
(1) 称 关 是 万 上 的 凸 函 数 , 是 指 对 任意 的 了 ,VEDD 及 任意 的 实数 AE [0,1]， 
都 有 





























FAz+( -ASESAFz)+(L -入 )F). 
(2) 称 广 是 万 上 的 严格 西 函 数 , 是 指 对 任意 的 了 ,WE D, zz 关 1 及 任意 的 实 
数 Ae [0,1], 都 有 


让 语 风 入 刘 国 直 凡人 


(3) 称 太 是 万 上 的 一 致 凸 函数 ,是 指 存在 常数 7 > 0, 使 对 任意 的 TV ED 
及 任意 的 实数 AE [0,], 都 有 


Joz+0-ANO+T3ad-Aalz-<M+G-AA7G 


.8 . 
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凸 函 数 具 有 下 列 基 本 性 质 . 











命题 1 设 户 广 , 户 都 是 凸 集 刀 上 的 凸 函 数 , cl co E 开 aeE 陈 , 则 有 
(1) c 亡 (7Z) 十 cz 户 (Z) 也 是 万 上 的 巴 函数 ， 
(2) 水 平 集 

















Co ={zlzeDD, zs<o 
是 凸 集 . 

凸 集 征 函数 在 优化 理论 中 起 着 举足轻重 的 作用 , 但 是 利用 凸 函 数 的 定义 来 
判断 一 个 函数 是 否 具 有 吓 性 并 非 一 件 容 易 的 事情 . 如 果 函 数 是 一 阶 或 二 阶 连 续 
可 微 的 , 则 可 利用 函 数 的 梯度 或 Hesse 阵 来 判别 或 验证 函数 的 凸 性 要 相对 容易 一 
些 . 下 面 给 出 几 个 判别 定理 . 






































定理 4 设 广 在 西 集 万 CR" 上 一 阶 连续 可 微 ， 则 
() 了 在 万 上 为 凸 函 数 的 充 要 条 件 是 





FUz) > jz9+TVHFoT zz 一 2 YoZEDD (1.14) 
(2) 上 在 万 上 严格 凸 的 充 要 条 件 是 ， 当 了 天 2 时， 成立 
jzZ) > jz+TVHzTz 人) YazozE 门 . (1.15) 
(3) 三 在 万 上 一 致 凸 的 充 要 条 件 是 ， 存 在 常数 c > 0， 使 对 任意 的 ;ZE 姜 ， 
成 主 
/> jle9+TVjeore 一 o+clz 一 人 (1L.16) 
我 们 知道 ， 在 一 元 函数 中 ， 若 /lz) 在 区 间 (ao 世上 二 阶 可 微 且 帮 (z) 
0 (> 0)， 则 jz) 在 (oawU 内 凸 〈 严 格 凸 ) ， 对 于 二 阶 连续 可 微 的 多 元 函数 
矿 :DCRR" 一 尺 , 也 可 以 由 其 二 阶 导 数 (Hesse 阵 ) 给 出 凸 性 的 一 个 近乎 完整 的 表 


述 . 





























定义 7 设 即 元 实 到 数 人 在 凸 集 刀 上 是 二 阶 连续 可 微 的 . 若 对 一 切 尹 E PR， 
有 HLV2jz) 广 0， 则 称 V2/ 在 点 二 处 是 半 正 定 的 . 车 对 一 切 0 夭亡 E 耿 "， 有 
PTV27(z) 六 > 0， 则 称 V2j 在 点 处 是 正定 的 . 进一步 ， 若 存在 常数 c > 0, 使 得 
对 任意 的 疡 E 有 "zzEDD, 有 HzV2Fz) 六 >cllP2， 则 称 V2F 在 万 上 是 一 致 正定 
的 
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有 了 上 述 定 义 ， 我 们 可 以 把 一 元 函数 关于 用 二 阶 导 数 表 述 凸 性 的 结果 推广 
到 多 元 函数 上 . 

定理 5 设 风 元 实 函 数 三 在 凸 集 DC 了 ”上 二 阶 连续 可 微 , 则 

(1) 广 在 万 上 是 凸 的 充 要 条 件 是 V2j(z) 对 一 切 E 万 为 半 正定 ; 

(2) 广 在 刀 上 是 严格 西 的 充分 条 件 是 V2jJ(z) 对 一 切 E 万 为 正定 ; 

(3) 广 在 万 上 是 一 致 凸 的 充 要 条 件 是 V2j(z) 对 一 切 @E 万 为 一 致 正定 ， 


注意 ，V2F 正定 是 二 严格 凸 的 充分 条 件 而 非 必要 条 件 . 




















1.5 “无 约束 问题 的 最 优 性 条 件 
本 节 讨 论 无 约束 优化 问题 
min 帮 Z) (1.17) 


的 最 优 性 条 件 , 它 包 含 一 阶 条 件 和 二 阶 条 件 . 首先 给 出 极 小 点 的 定义 , 它 分 为 全 
局 极 小 点 和 局 部 极 小 点 . 


定义 8 车 对 于 任意 的 E 了 "都 有 
j 帮 2 ) < 让 )， 


则 称 六 为 了 的 一 个 全 局 极 小 点 . 若 上 述 不 等 式 严 格 成 立 且 Z 天 人 阅 则 称 妆 为 
的 一 个 严格 全 局 极 小 点 . 




















定义 9 若 对 于 任意 的 ZE N(z50) 一 {ZEB"|lz 一 好 < 6 都 有 
帮 zZ) < 故 2)， 


则 称 z* 为 三 的 一 个 局 部 极 小 点 ,其 中 6 > 0 为 某 个 常数 . 车 上 述 不 等 式 严 格 成 
立 且 辽 尖 e 则 称 z* 为 请 的 一 个 严格 局 部 极 小 点 . 








局 极 小 点 是 相当 困难 的 , 因此 通常 只 求 局 部 极 小 点 (在 实际 应 用 中 , 有 时 求 局 部 
极 小 点 已 满足 了 问题 的 要 求 ), 故 本 书 所 讨论 的 求 极 小 点 的 方法 都 是 指 局 部 极 小 
点 . 

为 了 讨论 和 叙述 的 方便 , 通 篇 引入 下 列 记号 : 


qz) =Vjz)， 国 =Vjz，GG) =V AD，GR =V cn 

















. 10 . 
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定理 6 (一 阶 必要 条 件 ) 设 /z) 在 开 集 刀 上 一 阶 连续 可 微 . 若 z*ED 万 是 
的 一 个 局 部 极 小 点 , 则 必 有 g(z*) = 0 
证 取 z= 巡 一 ag(z) EDD, 其 中 qa > 0 为 某 个 常数 . 则 有 
全 
= jz) 一 ag(z 9g(z) 十 o(a) 
= _ jz) 一 allg(z) 上 +o(ao). 


注意 到 flz) > jz 及 a > 0, 我 们 有 











0<lolcoPP< 2 


上 式 两 边 令 a 一 0 得 log(z)l= 0, 即 9g(z) = 0. 
定理 7 (二 阶 必要 条 件 ) 设 F(z) 在 开 集 刀 上 二 阶 连续 可 微 . 若 Ir EDD 是 
的 一 个 局 部 极 小 点 , 则 必 有 gf(z*] = 0 且 G(z*] 是 半 正 定 给 阵 . 


证 设 六 是 一 局 部 极 小 点 , 那么 由 定理 加 可知 g(z*) = 0 下面 只 需 证 明 
G(z9) 的 半 正 定性 . 任 取 z= 巡 十 adeDD, 其 中 >0 且 de 了 R" 由 泰勒 展开 式 






































得 
1 本 5a2drG(ond +o(a )， 
即 2 
dz ) > 0 

















对 上 式 令 a 一 0, 即 得 dzG(zd > 0, 从 而 定理 成 立 . 


定理 8 (二 阶 充分 条 件 ) 设 /(z) 在 开 集 九 上 二 阶 连 续 可 微 . 若 Z* E 门 满 
足 条 件 g(2")] =0 及 G(z*] 是 正定 给 阵 ， 则 2* 是 的 一 个 局 部 极 小 点 . 














证 任 取 z= 驻 十 ad EDD, 其 中 必 >0 且 de 了 R". 由 泰勒 公式 得 
水 水 二 剧 工 羡 了 水 
用人 习 十 ad) 三 7 十 9(2) qd 十 7 d GZ 十 0ad)d， 


其 中 0 e (0,1). 注意 到 g(z*) = 0, G(z9 正定 和 上 二 阶 连续 可 微 , 故 存在 5 > 0， 
使 得 G(z* + gad) 在 |lgadl| < 6 范围 内 正定 . 因此 由 上 式 即 得 








j 帮 十 ad) > 用 2)， 
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从 而 定理 成 立 , 
一 般 来 说 , 目标 函数 的 稳定 点 不 一 定 是 极 小 点 . 但 对 于 目标 函数 是 凸 函数 的 
无 约束 优化 问题 , 其 稳定 点 、 局 部 极 小 点 和 全 局 极 小 点 三 者 是 等 价 的 . 



































定理 9 设 /(z) 在 下 ”上 是 西 函数 并 且 是 一 阶 连续 可 微 的 . 则 zi*E 限 "是 
(1? 的 全 局 极 小 点 的 充 要 条 件 是 g(zZ*] = 0. 


只 需 证 明 充 分 性 , 必要 性 是 显然 的 . 设 g(z”) = 0. 由 凸 函 数 的 判别 定理 









































j(Z) 二 jc)+Tg) (人 z 一 2 =) YZERR"， 
这 表明 z* 是 全 局 极 小 点 . 
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在 数值 优化 中 , 一 般 采 用 和 途 代 法 求解 无 约束 优化 问题 





Imin 帮 Z) (1.18) 








的 极 小 点 . 迭代 法 的 基本 思想 是 : 给 定 一 个 初始 点 zo, 按照 某 一 迭代 规则 产生 一 
个 和 欠 代 序列 {zt}. 使 得 若 该 序列 是 有 限 的 , 则 最 后 一 个 点 就 是 问题 的 极 小 
点 ; 否则 , 若 序 列 {zk} 是 无 穷 点 列 时 , 它 有 极限 点 且 这 个 极限 点 即 为 问题 
的 极 小 点 . 

设 zx 为 第 有 次 迭代 点 , 因为 第 天 次 搜索 方 癌 , ax 为 第 友 次 步 长 因子 , 则 第 
上 次 友 代 完成 后 可 得 到 新 一 轮 (第 天 十 1 次 ) 的 旬 代 操 








ZK1L 一 2K 十 QkGdK. (1.19) 





因此 , 我 们 可 以 写 出 求解 无 约束 优化 问题 们 1 吕 的 一 般 算法 框架 如 下 . 


算法 1 (无 约束 问题 的 一 般 算 法 框架 ) 

步 0 给 定 初 始 化 参数 及 初始 迭代 点 Zz0. 置 大 := 0. 

步 1 若 z 满足 某 种 终止 准则 , 停止 选 代 , 以 中 作为 近似 极 小 点 . 
步 2 通过 求解 zk 处 的 某 个 子 问题 确定 下 降 方 向 ZK 

步 3 通过 某 种 搜索 方式 确定 步 长 因子 ak, 使 得 Fr 十 akdk) < jz) 
步 4 令 Zp:= 一 人 十 apdi 天 :一 大 十 1 转 步 1 
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为 了 方便 , 通常 称 上 述 算法 中 的 s = akdkx 为 第 大 次 欠 代 的 位 移 ， 从 算法 唱 
可 以 看 出 , 不 同 的 位 移 (不 同 的 搜索 方向 及 步 长 因子 ) 即 产 生 了 不 同 的 迭代 算法 . 
为 了 保证 算法 的 收敛 性 , 一 般 要 求 搜索 方向 为 所 谓 的 下 降 方向 : 














定义 10 若 存 在 到 > 0, 使 得 对 任意 的 weE(0,@ 和 大 么 0, 有 
Fo 十 Qdk) < OZp)， 


则 称 因为 F(z) 在 zx 处 的 一 个 下 降 方向 . 











知 目 标 函 数 厂 是 一 阶 连 续 可 微 的 , 则 判别 胃 是 否 为 下 降 方向 将 有 更 为 方便 
的 判别 条 件 . 























引 理 2 设 函 数 上 :CR" 一 到 在 开 集 忆 上 一 阶 连 续 可 微 , 则 必 为 Fz) 
在 和 4 处 一 个 下 降 方 向 的 充 要 条 件 是 


VF(zazdu < 0. (1.20) 


证 由 泰勒 展开 式 得 





Fo 二 adh = zh 二 avVFzn7adx 二 o(o). 


着 成 立 , 则 对 于 充分 小 的 ac > 0, 显然 有 /zt 二 adk) < Flze; 即 因为 Fr) 
在 入 处 的 一 个 下 降 方 向 . 反之 , 则 有 





aVFzn7dk 二 ola) < 0， 


印 


VF(zp)7 du 十 


人 

















由 于 lin 2 Www 1 成 立 
弗 法 的 收 敏 性 是 设计 一 个 透 代 算法 的 最 起 码 要 求 ， 关 于 收敛 性 , 有 所 谓 的 
aa 





定义 11 车 某 算 法 只 有 当初 始点 z0 充分 接近 极 小 点 x 时 , 由 工法 产生 的 
点 列 {zh} 才 收 你 于 z*， 则 称 该 算法 具有 局 部 收 么 性 ， 若 对 于 任意 的 初始 点 z0， 
由 算法 产生 的 点 列 {fZk} 都 收 么 于 *, 则 称 该 算法 具有 全 局 收敛 性 . 
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算法 的 局 部 收敛 速度 是 衡量 一 个 算法 好 坏 的 重要 指标 , 我 们 给 出 有 关 收 敛 速 
度 的 概念 如 下 


定义 12 设 算法 产生 的 点 列 {zh} 收 化 于 极 小 点 z*, 且 








in ze 一 冤 | 

poo zz 一 2*lp 
() 车 p=1 且 0<0<1 则 称 该 算法 具有 线性 收 你 速度 (或 线性 收 伊 的 ). 
(2) 若 DP = 1 且 0 = 0, 则 称 该 算法 具有 超 线性 收 伊 速度 (或 超 线性 收 伊 的 )， 
(3) 车 pp 一 2 且 0<g < oo, 则 称 该 算法 具有 平方 收 化 速度 (或 平方 收 伊 的 )， 
(4) 一 般 地 , 若 D >2 且 0<0< co, 则 称 该 算法 具有 7 阶 收 敏 速度 (或 六 阶 
收 黎 的 )， 





在 计算 机 上 实现 一 个 迭代 法 , 通常 需要 一 个 迭代 终止 条 件 . 常用 的 基本 终止 
条 件 有 下 列 三 种 : 
() 位 移 的 绝对 误差 或 相对 误差 充分 小 , 即 











慑 人 
| zk] 


其 中 = 是 充分 小 的 正 数 . 
(2) 目标 函数 的 绝对 误差 或 相对 误差 充分 小 , 即 


jzeD) 一 zl<s， 或 





其 中 = 是 充分 小 的 正 数 . 
(3) 目标 函数 的 梯度 的 范 数 充分 小 , 即 


1V7zn) < s， 


其 中 = 是 充分 小 的 正 数 . 


co 


题 1 


1， 验 证 下 列 各 集合 是 凸 集 : 
2Z1 十 Za 过 1,2Z1 一 27z2 过 1; 
21 十 中 挟 ]; 
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3) 3 = {(za zajllzz| < zl. 
2 判断 下 列 函 数 为 凸 ( 止 ) 函数 或 严格 凸 (上 四) 函数 : 








() jz) = z4 十 272; 

(2) jz) = 3z1 一 67zl7a 十 22; 

(3) jz) 三 2 一 27172 十 22 十 221 十 37o2; 

(4 帮 7) 一 271 | 2 | 27z3 上 Z1272 一 32173 十 01 一 23. 











3. 证 明 : /f(z) = 5z7Gz 十 妈 2 为 严格 凸 函数 当 且 仅 当 Hessian 和 宅 阵 G 正定 . 

4. 若 对 任意 ZE 玉 "” 及 实数 0 > 0 都 有 /bz) = 0(z), 证 明 : /zz) 在 玉 ” 上 为 凸 函 数 的 
充 要 条 件 是 Vz,y E 下"，jFz 十 妇 芝 jz) 十 让 ). 

5， 设 三: 下 ?一 了 腑 定义 为 : flz) = (zl 二 3zo)2 十 2(zl 一 2Z3) 十 (za -2z3)4 证明: 
zx 一 (0,0,0) 是 Fz) 的 稳定 点 , 且 z* 是 Fz) 在 了 ?3 上 的 严格 全 局 极 小 点 . 

6. 设 广 :了 "一 到 是 凸 函 数 , z0 ,ZE 到"，X ,nm 是 非 负 实数 且 Ai 十 … :十 
mw 二 1 证 明 : F(OzOD) 十 :十 Anmzom < AiF(zG) 十 十 AmF(zCm)， 

7. 设 户 9 都 是 了 及" 上 的 西 末 数 证 明 +9 及 maxt| 几 l9|} 也 是 凸 函数 . 


让 三 必 下 风 5 5 吧 证 明 (0.0)7 和 通 点 (1 0)， 


9， 设 三 个 序列 mr = (2 ,大 一 ee 有 头 一 襄 , 当 大 -oo 时 , 它们 均 收敛 于 0. 二 
证 {zt} 三 阶 收敛, { 四 ]} 超 线性 收敛,{xx} 线性 收 伍 . 
10. 设 Flzi,za) = 10 一 2(z1 一 Za2)2. 















































9 三 {(zi,zZoa)| 一 1 所 光 竹 妆 1 一 工 二 尿 2 斥 1 





jziza) 是 否 为 9 上 的 凸 函 数 ? 
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从 本 章 开 始 , 介绍 无 约束 优化 问题 的 一 些 常 用 数值 方法 . 我 们 考虑 下 面 的 无 
约束 优化 模型 





也 记 由 )， 
众所周知 , 研究 上 述 无 约束 优化 问题 的 数值 方法 , 不 仅 是 出 于 实际 问题 的 需要 , 同 
时 也 是 研究 约束 优化 问题 数值 方法 的 基础 . 本 章 主要 讨论 一 维 线 搜 索 算 法 及 其 收 
敛 性 分 析 . 
我 们 在 第 1 章 论 及 无 约束 优化 问题 欠 代 算法 的 一 般 框架 时 , 其 中 有 下 面 的 一 
个 迭代 步 : 
通过 某 种 搜索 方式 确定 步 长 因子 ak, 使 得 














大 zk 十 QQ ) 所 (0Zp)， (2.1) 


这 实际 上 是 (” 个 变量 的 ) 目标 函数 六 z) 在 一 个 规定 的 方向 上 移动 所 形成 的 
单 变 量 优化 问题 , 也 就 是 所 谓 的 “ 线 搜 索 ” 或 “一 维 搜索 ”技术 . 令 


0(a) = 帮 z 十 Qqk)， (2.2) 
这 样 , 搜索 式 位 等 价 于 求 步 长 ax 使 得 
Oak) < 纱 (0)， 


线 搜索 有 精确 线 搜索 和 非 精 确 线 搜索 之 分 . 所 谓 精 确 线 搜索 , 是 指 求 ax 使 
目标 函数 矿 沿 方向 必 达到 极 小 , 即 


















































几 了 十 akdk) 一 I 识 几 zK 十 aq， 


gap) 一 匡 迄 罗 o 
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知 /z) 是 连续 可 微 的 , 那么 由 精确 线 搜 索 得 到 的 步 长 因子 ak 具有 如 下 性 质 : 





























Vj(z+akdtj =0( 亦 即 只 =0). (2.3) 





上 述 性 质 在 后 面 的 算法 收 和 敛 性 分 析 中 将 起 着 重要 的 作用 . 

所 谓 非 精 确 线 搜索 , 是 指 选取 ax 使 目标 函数 上 得 到 可 接受 的 下 降 量 , 即 
A 太 = zh) 一 Ar +ardk) > 0 是 可 接受 的 . 

精确 线 搜索 的 基本 思想 是 : 首先 确定 包含 问题 最 优 解 的 搜索 区 间 , 然后 采用 
某 种 插值 或 分 割 技术 缩小 这 个 区 间 , 进行 搜索 求解 . 下 面 给 出 搜索 区 间 的 定义 . 





























定义 13 设 几 是 定义 在 实数 集 上 一 元 实 函 数 ,ax E [0, +eo), 并 且 
go ) 一 min go (2.4) 
若 存 在 区 间 [aw, 引 C [0,+oo), 使 ar e (ab 则 称 [a 是 极 小 化 问题 的 搜索 


区 间 . 进一步 , 若 ar 使 得 g(a) 在 [aa*] 上 严格 递减 , 在 [ao* ,中 上 严格 递增 ， 则 
称 [o 引 是 ga) 的 单 峰 区 间 , gb(a) 是 [w, 引 上 的 单 峰 函数 ， 








下 面 介 绍 一 种 确定 搜索 区 间 并 保证 具有 近似 单 峰 性 质 的 数值 算法 一 进退 法 ， 
其 基本 思想 是 从 一 点 出 发 , 按 一 定 步 长 , 试图 确定 函数 值 呈 现 “高 - 低 - 高 ”的 三 
点 , 从 而 得 到 一 个 近似 的 单 峰 区 间 ， 









































算法 2 (进退 法 ) 
步 1 选取 ao0 之 0， /0 > 0. 计算 90 :一 0(aQo)， 置 上 := 0. 
步 2 令 ap = 中 十 由 计算 Wi := gap). 车 四 HE < 炭 ， 转 步 3, 否则 


夏 :一 1 转 步 2; 否则 停止 选 代 , 令 
4 =Imin{fa,akrj ae=maxfa,akrr1， 
输出 [oa, 吕 . 
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2.1 精确 线 搜索 及 其 Matlab 实现 


精确 线 搜索 分 为 两 类 . 一 类 是 使 用 导数 的 搜索 , 如 插值 法 , 牛顿 法 及 抛物 线 
去 等 ; 另 一 类 是 不 用 导数 的 搜索 , 如 0.618 法 , 分 数 法 及 成 功 -失败 法 等 . 本 书 仅 介 
召 0.618 法 和 二 次 插值 逼近 法 . 






























































1. 黄金 分 割 法 

黄金 分 割 法 也 称 为 0.618 法 , 其 基本 思想 是 通过 试探 点 函数 值得 比较 , 是 包 
含 极 小 点 的 搜索 区 间 不 断 缩 小 .该 方法 仅 需 要 计算 函数 值 , 适用 范围 广 , 使 用 方 
便 . 下 面 我 们 来 推导 0.618 法 的 计算 公式 . 


设 


























95) = 2 十 sdhh， 

其 中 %(s) 是 搜索 区 间 [ao,pol 上 的 单 峰 函数 . 在 第 ; 次 欠 代 时 搜索 区 间 为 [oi, oj. 
取 两 个 试探 点 为 pp ge [azbl 且 m < 4. 计算 WP 和 do). 根据 单 峰 函数 的 性 
质 , 可 能 会 出 现 如 下 两 种 情形 之 一 : 

(1) 若 0(Di) 忒 0(di)， 则 令 QiH1 :一 Qi，DiH1 :一 9i 

(2) 若 gpi) > go 则 令 oil := Pi pl := 一 访 

我 们 要 求 两 个 试探 点 wm 和 9 满足 下 述 两 个 条 件 : 

(aj [ai di 与 [Pio 的 长 度 相同 , 即 上 一 访 一 下 一 ai 

(b) 区 间 长 度 的 缩短 率 相 同 , 即 0 -ai = to 一 Qi). 

从 而 可 得 














2 一 0 十 (1 = t)(b 一 Qi， 必 一 0i 十 t(D 三 Qi). (2.5) 


现在 考虑 情形 (1). 此 时 , 新 的 搜索 区 间 为 





[ai Di 二 [ai， di]. 


为 了 进一步 缩短 搜索 区 间 , 需 取 新 的 试探 点 pt, gx1. 由 人 2. 中 得 





+1 一 OH 十 克 Dl 一 ai+l) 
一 ww 十 不 9i 一 ai) 
一 i 十 女 ( 太 一 ai) 


让 
心 
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则 

0 一直 十 (一 已 一 az) 三 7 
这 样 , 新 的 试探 点 oi+1 就 不 需要 重新 计算 . 类 似 地 , 对 于 情形 (2), 也 有 相同 的 结 
论 . 


解 方程 得 区 间 长 度 缩短 率 为 
V5 一 1 
2 




















大 三 必 0.018. 





因此 , 我 们 可 以 写 出 0.618 法 的 计算 步骤 如 下 . 


算法 3 (0.618 法 ) 
步 0 确定 初始 搜索 区 间 [ao,80] 和 容许 误差 =s > 0. 计算 初始 试探 点 


00 一 00 十 0.382(po 二 a0)， do0 一 CQ0 十 0.618(po 一 a0) 


步 1 若 %(Di) <g(0i)， 转 步 2; 否则 , 转 步 3. 
步 2 计算 左 试探 点 . 若 lg -ail 乏 s, 停 算 ,， 输出 Pi. 否则 ， 令 


aiH1 :一 0 DiH1 :一 0i 0(0itH1) :一 0(Di)， 
OH 一 Di Di 一 0i+Hl 十 0.382(041 一 Qi) 





计算 gpiil,i := 一 1 十 1 转 步 1 


ai 一 Di OH1 :一 访 ， 0(Dit1) :到 gdi)， 
Di :一 0 dg: 一 ai 十 0.618(o+1l 一 ai) 


计算 g(9+D) :一 1 十 1 转 步 1 








值得 说 明 的 是 , 由 于 每 次 迭代 搜索 区 间 的 收缩 率 是 上 = 0.618, 故 0.618 法 只 
是 线性 收敛 的 , 即 这 一 方法 的 计算 效率 并 不 高 . 但 该 方法 每 次 欠 代 只 需 计 算 一 次 
函数 值 的 优点 足以 弥补 这 一 缺憾 . 

下 面 给 出 用 0.618 法 求 单 变 量 函 数 几 在 单 峰 区 间 上 近似 极 小 点 的 Matlab 程 
序 . 
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程序 1 (0.618 法 程序 ) 用 0.618 法 求 单 变 量 函 数 内 在 单 峰 区 间 [o, 中 上 的 
近似 极 小 点 . 


function [s,phis,k,G,E]=golds(phi,a,b,dqelta,epsilon) 
% 输 入 : phi 是 目标 函数 ，a，b 是 搜索 区 间 的 两 个 端点 


























/ delta，epsilon 分 别 是 自 变量 和 函数 值 的 容许 误差 

Y% 输 出 : s，phis 分 别 是 近似 极 小 点 和 极 小 值 ， G 是 nx4 和 矩阵 ， 

% 其 第 k 行 分 别 是 a,p,q,b 的 第 k 次 迭代 值 [ak ,pk,qk,bk] ， 
% E= [qs ,dphi] ， 分 别 是 s 和 phis 的 误差 限 . 


t=(sqrt(5)-1)/2; hh=b-a; 
phia=feval(phi,a); phib=feval(phi,b) ; 
pP=a+(1- 七 )*kh;  q=a+t#kh ; 
phip=feval(phi,p); phiq=feval(phi,q) ; 
k=1; GGk,:)=[a，p，q，Pb]; 
while(abs(phib-phia)>epsilon)|(h>delta) 
if(phip<phiq) 
b=q; Phib=phiq; q=-p; Phiq=phip; 
h=b-a;i p=a+(1-t)*h;i phip=feval(phi,p); 
else 
a=-p; phia=phip; p=q; phip=phiq; 
h=b-a;  q=a+t#kh;i phidq=feval(phi,q) ; 
end 
k=k+1l1; GGk,:)=[a，p，q，Pb]; 
end 
ds=abs(b-a) ; dqphi=abs(phib-phia) ; 
if (phip<=phiq) 
SsS=p; phis=phip; 


else 

SsS=q; phis=phid; 
end 
E= [ds ,qphij] ; 


例 8 用 0.618 法 程序 吓 求 函数 Wz) = 22 一 sin(z) 在 [0,1] 上 的 极 小 点 . 取 
容许 误差 6 一 10-4 < 一 10-5. 


解 在 命令 窗口 输入 如 下 命令 
[s ,phis,k,G,E]=golds(inline(2sS ”2-sin(sS)) ,0,1,1e-4,1e-5) 
回 车 后 即 得 如 下 数值 结果 : 





. 20 . 











第 二 章 。 线 搜索 技术 $2.1 ”精确 线 搜索 及 其 MATLAB 实现 











表 3.1 用 0.618 法 求 单 变量 函数 极 小 点 的 数值 结果 . 
迭代 次 数 | 近似 极 小 点 ( 习 | | 中 一 ak| 的 值 | 6 -gas)| 的 值 
21 0.450183 6.6107 x 10-5 1.1075 xx 10-9 






























































2. 抛物 线 法 


抛物 线 法 也 叫 二 次 插值 法 , 其 基本 思想 是 : 在 搜索 区 间 中 不 断 地 使 用 二 次 多 
项 式 去 近似 目标 函数 , 并 逐步 用 插值 多 项 式 的 极 小 点 去 逼近 先 搜索 问题 














min bg(s) = /zz 十 5dk) 


S>0 


的 极 小 点 . 下 面 我 们 详细 介绍 这 一 方法 . 
设 已 知 三 点 


S0，51 一 50 十 几 ， 52 一 50 十 27， (到 >0) 
处 的 函数 值 wm, 加 , ‰ 且 满 足 
0O1<0o，0i< 02. 


上 述 条 件 保 证 了 函数 % 在 区 间 [|so,s?] 上 是 单 峰 函数 . 则 满足 上 述 条 件 的 二 次 
Lagrabge 插值 多 项 式 为 


人 


d(s) 的 一 阶 导 数 为 


2s 一 51 一 52 25 一 50 一 5 25 一 50 一 51 
(5) 一 一 2 区 























(s1 十 s2)bo 一 2(so 十 sz)01 十 (50 十 s1)0o 
2(0o 一 201 十 0) 
(2s50 十 3 几 )00 S 2(2s50 十 27)01 十 (2s50 十 几 )02 
2(0o 一 201 十 力 ) 
(30%o 一 401 十 加) 内 二 


一 50 十 2( 册 二 2 办 十 加] 二 50 十 几 ， (2.8) 
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本 (401 一 300 一 02) 有 
2(201 一 bo 一 加 ) 





(2.9) 
又 d(s) 的 二 阶 导 数 分 别 为 


90 人 到 看 


9 全 去 旗 了 了 二 大 惫 
故 g(s) 为 凸 二 次 函数 , 从 而 smn 是 q(s) 的 全 局 极 小 点 . 
注意 到 , = so 十 彤 比 so 更 好 地 逼近 s. 故 可 用 所 六 分 别 蔡 换 so 和 户 并 重 
复 上 述 计 算 过 程 , 求 出 新 的 了 和 新 的 六 重复 这 一 友 代 过 程 , 直到 得 到 所 需 的 精度 
为 止 . 值得 说 明 的 是 , 这 一 算法 中 目标 函数 的 导数 在 位 吉 中 隐 式 地 用 来 确定 用 来 
确定 二 次 插值 多 项 式 的 极 小 点 , 而 算法 的 程序 实现 中 并 不 需要 使 用 导数 值 . 









































算法 4 (抛物 线 法 ) 
步 0 由 算法 加 确定 三 点 S0<<S1 扫 5S2， 对 应 的 也 数 值 do 01, 02 满足 


0 < 0o，01<02. 


设 定 容许 误差 = > 0. 

步 1 若 |ss--so| <e, 停 算 , 输出 s* S 51， 

步 2 计算 插值 点 .根据 计算 王 和 力 := 办 避 . 车身 去 轴 转 步 4, 否则 ， 
转 步 3. 

步 3 若 s1>5 则 so: 一 ssl1: 一 5 0 :一 册 ,01 :一 d， 转 步 1. 否则 , 50 := 51， 
51 :一 5 90: 一 OO 赔 := 办 转 步 1 

步 4 若 s1<5 则 sy:=5g:= 办 转 步 1. 否则 ,so0:=5 0%0:= 力 转 步 1 


下 面 给 出 用 抛物 法 求 单 变量 函数 % 在 单 峰 区 间 上 近似 极 小 点 的 Matlab 程 
序 . 


程序 2 (抛物 线 法 程序 ) 求 函 数 g(s) 在 区 间 [a, 世 上 的 局 部 极 小 值 , 从 初始 
点 50 开始 , 然后 在 区 间 [a, sol 和 [so 中 上 进行 搜索 . 


function [s,phis,ds,dqphi,S]=qmin(phi,a,b,dqelta,epsilony) 
% 输 入 : phi 是 目标 函数 ，a 和 b 是 搜索 区 间 的 端点 

炙 delta,epsilon 是 容许 误差 

% 输 出 : s 是 近似 极 小 点 ，phis 是 对 应 的 近似 极 小 值 ; 是 迭代 次 数 
久 ds 是 迭代 终止 时 的 步 长 ，dphi 是 |phi(s1)-phi(s)1; 8 是 迭代 向 量 
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MATLAB 实现 








S0=aj maxj=20; maxk=30; big=1e6; err=1; Kk=]1; 
S(k)=s0; cond=0; h=1; dqs=0.00001; 
if (abs(s0)>1e4) ，h=abs(s0)*(1e-4) ; end 


While (k<maxKk 《err>epsilon 《&cond~=5) 


fl1=(feval(phi,sO+ds)-feval(phi,s0O-ds))/(2xkds) ; 
if(f1>0) ，h=-abs(h) ; end 
S1=SO+h ; S2=SO+2#h ; bars=SO ; 
phi0=feval(phi,s0); Phil=feval(Pphi,sl); 
phi2=feval(phi,s2); barphi=phi0; cond=0; 
j=0; 《确定 h 使 得 phi1<phi0 且 phit<phi2 
While(j<maxjgwabs (h)>delta&cond==0) 
if (phi0<=phil) ， 
Ss2=S1; phi2=phi1; h=0.5#h; 
s1=Ss0O+h;i phil=feval(phi,sl1) ; 
else if (phi2<phil) ， 
sS1=S2; phi1=phi2; h=2#xh; 
S2=S0+2*kh;i phi2=feval(phi,s2) ; 
else 
Cond=-1; 
end 
end 
j=j+li 
if(abs(h)>biglabs(s0)>big) ，cond=5; end 
end 
if(cond==5) 
bars=s1; barphi=feval(phi,sl1) ; 
else 
% 二 次 插值 求 phis 
d=2x* (2*phi1-phi0-phi2) ; 
if(dq<0) ， 
barh=h# (4+phil1-3kphi0-phi2)Vd; 
else 
barh=h/3; condq=4; 
end 
bars=SsO+barh ; barphi=feval(phi,bars) ; 
h=abs(h); ho=abs(barh) ; 
h1=abs(barh-h); h2=abs(barh-2xh) ; 
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% 确 定 下 一 次 迭代 的 h 值 
if(h0<h) ，h=h0;i end 
if(h1<h) ，h=h1;i end 
if(h2<h) ，h=h2; end 
if(h==0) ，h=barh; end 
if(h<dqelta) ，cond=1; end 
if(abs(h)>biglabs(bars)>big)，cond=5; end 
erTr=abs(phi1-barphi) ; 
SO=bars; KK=k+1; SGCk)=Ss0O; 


end 
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if(cond==2kh<dqelta) ，cond=3; end 


end 


Ss=S0; phis=feval(phi,s); 


Qqs=h;i qdqphi=erT; 


例 9 用 二 次 插值 法 程序 四 求 函数 Wz) = 妇 一 sin(z) 在 [0,1] 上 的 极 小 点 . 
取 容 许 误差 5 = 10 -4 < 一 10- 5. 


解 在 命令 窗口 输入 如 下 命令 
[s ,phis,k,dqs,dqphi,S]=qmin(inline(2s”2-sin(s) 2 ),0,1,1e-4,1e-6) 
回 车 后 即 得 如 下 数值 结果 : 


表 3.1 用 二 次 插值 法 求 单 变量 函数 极 小 点 的 数值 结果 ， 








迭代 次 数 


近似 极 小 点 ( 引 


15 一 si| 的 值 


lb( 引 -gs 的 值 





4 








0.450184 


1.5340 x 10-5 








1.6984 x 10-? 
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线 搜 索 技术 是 求解 许多 优化 问题 下 降 算 法 的 基本 组 成 部 分 , 但 精确 线 搜索 往 
往 需要 计算 很 多 的 函数 值 和 梯度 值 , 从 而 耗费 较 多 的 计算 资源 . 特别 是 当 友 代 点 



































远离 最 优点 时 , 精确 线 搜索 通常 不 是 十 分 有 效 和 合理 的 . 对 于 许多 优化 算法 , 其 

















收 和 敛 速度 并 不 依赖 于 精 有 











搜索 过 程 . 因此 , 既 能 保 说 
量 又 能 使 最 终 形 成 的 和 欠 代 序列 收 和 敛 的 非 精确 线 搜索 变 得 越 来 越 流行 . 本 书 着 重 介 


绍 非 精 确 线 搜索 中 的 Wolfe 准则 和 Armijo 准则. 


1.， Wolfe 准则 








目标 函数 具有 可 接受 的 下 降 
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Wolfe 准则 是 指 : 给 定 pe (0,0.5), ac E (po;,0.5), 求 ax 使 得 下 面 两 个 不 等 式 同 
时 成 立 : 











用 人 十 akdk) 羡 jZk) 十 PakgK dk (2.10) 

VHF(z 二 akdh7 ak > aqgt dk， (2.11) 
其 中 中 =g(zi 三 VFzi), 条 件 (2.11 有 时 也 用 另 一 个 更 强 的 条 件 

Vs 二 ardedkl < 一 aot dh (2.12) 





来 代 蔡 ， 当 c > 0 充分 小 时 , 可 保证 人 .1 变 成 近似 精确 线 搜索 . 和 
称 为 强 Wolfe 准则 ， 

交 Wolfe 准则 表明 , 由 该 准则 得 到 的 新 的 友 代 点 ztri = 区 十 akxk 在 zx 的 
某 一 邻 域内 且 使 目标 函数 值 有 一 定 的 下 降 量 . 

由 于 gz < 0, 可 以 证 明 Wolfe 准则 的 有 限 终止 性 , 即 步 长 ax 的 存在 性 . 我 
们 有 下 面 的 定理 . 


定理 10 设 /z) 有 下 界 且 gd < 0, 令 peE(0;0.5, aeE(p 1 则 存在 一 个 
区 间 la, 中 0 < a << 久 使 每 个 a e [ow 引 均 满 足 人 2.10| (2.10) 和 (2 人 2.! 引 . 
2. Armijo 准则 


Armijo 准则 是 指 : 给 定 B Ee (0,1), ce (0;,0.5). 令 步 长 因子 ak = Be 其 中 
7 是 满足 下 列 不 等 式 的 最 小 非 负 整数 : 














jz 二 DBmdh) < zk 十 aBmgf dk (2.13) 


可 以 证 明 , 知 /z) 是 连续 可 微 的 且 满足 ol dx < 0, 则 Armijo 准则 是 有 限 终 
止 的, 即 存在 正 数 c, 使 得 对 于 充分 大 的 正 整数 m， 式 成 立 . 

为 了 程序 实现 的 方便 , 我 们 将 Armijo 准则 写成 下 列 详细 的 算法 步 又 . 

算法 5 (Armijo 准则 ) 

步 0 给 定 Be(0l,ce(0,0.5). 令 见 :=0. 

步 1 车 不 等 式 























jz 十 Bmdp) < jz 二 apmo dx 


成 立 ， 置 ?7 :一 70，21H1 :一 2 十 Oak 停 算 . 否则 ， 转 步 2. 
步 2 令 见 := 叹 十 1 转 步 1. 
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下 面 给 出 Armijo 准则 的 Matlab 程序 . 


程序 3 (Armijo 准则 程序 ) Armijo 搜索 规则 是 许多 非 线性 优化 算法 都 必 
须 执行 的 步骤 , 把 它 编 制 成 可 重复 利用 的 程序 模块 是 很 有 意义 的 . 


function mk=armijoCxk,dqk ) 
beta=0.5; Sigma=0.2; 
m=0; mmax=20 ; 
While (m<=mmaxy) 
if(fun(xk+beta`mkdKk)<=fun(XK)+Sigmakbeta`~mkgfun(xk) *dK) 
ImKX=m; break; 
end 
Im=m+1 ; 
end 
alpha=beta ”~mk 
DeWXK=XK+alphakdkK 
fk=fun(CXxK) 


Dewfk=fun (newxkK) 
说 明 程序 加 中 fan 和 gfun 分 别 是 指 目标 函数 和 它 的 梯度 函数 的 子 程序 . 执 


行 上 述 过 程 时 这 两 个 子 程序 必须 事先 准备 好 . 
我 们 用 上 述 程序 来 求解 下 面 的 问题 . 





例 10 考虑 无 约束 优化 问题 


min Fz) = 100(z1 一 Z2)2 十 (Z1 一 了 2 
ZE 了 2 


设 当 前 选 代 点 ok = (一 1 17 下降 方向 因 = (1 一 2)7.， 利用 程序 加 求 步 长 因子 


CO， 





解 首先 编写 好 目标 函数 及 其 梯度 两 个 上 m 文件 ftnm 和 gfun.m: 


% 目标 函数 

function f=fun(Xy) 

f=100* (X(1) “2-X(2)) ”2+(X(C1)-1) >2; 

% 梯度 

function gf=gfun(x) 

gf=[400*Xx(1)*(X(1) ”2-Xx(2) )+2k(X(1)-1)，-200x(X(C1) ”2-Xx(2))] ?; 
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然后 在 Matlab 命令 窗口 输入 下 列 代码 
Xk=[-1,1] :; qdqk=[1,-2]，; mk=armijo(Cxk,dqKk) 


7 太一 2; ok 一 0.25;， Zhil = (一 0.75,0.5)， jz 三 4 zi) = 3.4531. 


2.3 ” 线 搜索 法 的 收敛 性 


下 面 我 们 给 出 线 搜索 法 的 收 依 性 结果 . 所 谓 “ 线 搜索 法 ”是 指 用 线 搜索 技术 
求 步 长 因子 的 无 约束 优化 问题 下 降 类 算法 的 简称 . 其 一 般 的 算法 框架 是 : 

算法 6 ( 线 搜索 法 算法 框架 ) 

步 0 初始 化 . 选取 有 关 参 数 及 初始 迭代 点 Zo E 下 ". 设 定 容 许 误 差 E < 娘 |. 
令 丰 := 0. 

步 1 检验 终止 判别 准则 . 计算 中 =VJzni. 车 < es 输出 人 玉 写 Ti 停 




















步 2 确定 下 降 方向 内, 使 满足 9Fdk < 0. 
步 3 确定 步 长 因子 ak. 可 在 下 列 “ 精 确 ” 与 “ 非 精 确 ” 两 种 线 搜索 技术 中 
选用 其 一 : 
(1) 用 前 面 介绍 的 0.618 法 或 二 次 插值 法 等 精确 线 搜索 技术 求 


ok 一 arg Din /2 十 adp). (2.14) 
(2) 用 前 面 介 绍 的 Wolfe 准则 或 Armijo 准则 等 非 精 确 线 搜索 技术 来 


CC 天， 

步 4 更 新 迭代 点 . 令 TH :一 人 十 akqh 无 :一 大 十 1 转 步 1 

值得 说 明 的 是 , 为 了 保证 这 类 算法 的 收敛 性 , 除了 在 步 3 要 选用 适当 的 线 搜 
索 技 术 外 , 搜索 方向 必 也 需 满足 一 定 的 条 件 , 即 对 于 所 有 的 太 , r 与 一 % 的 夹 角 
0 满足 














元 元 
< < 一 |. 。 
显然 , 夹 角 由 的 余 绢 为 和 
一 (大 (人 
coS 和 一 . 2.16 
[ID 人 



































F 面 的 定理 描述 了 基于 Wolfe 准则 或 Armijo 准则 的 非 精 确 线 搜索 法 的 收敛 
性 . 
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定理 11 设 {zk} 是 由 算法 加 产生 的 序列 ，j(z) 有 下 界 且 对 任意 的 0 E 取 "， 
VjJ(z) 在 水 平 集 





Z(tzoj = {zE 了 | 帮 o) < 7zo))} 

上 存在 且 一 致 连续 . 若 下 降 方向 中 满足 条 件 人 .1 中 , 则 

(1) 有 用 Wolfe 准则 求 搜索 步 长 ak 时 ， 下 一 0, 大 一 oo. 

(2) 采用 Armijo 准则 求 搜索 步 长 ok 时 ，{f2zZk} 的 任何 聚 点 * 都 满足 
Vjz”) = 0 

正 (1) 用 反 证 法 . 设 存在 子 列 Te /), 使 得 ou > s > 0. 注意 到 
大 是 下 降 方向 , 由 Wolfe 准则 的 条 件 人 .1 中 知 , {j(zb)} 是 单调 下 降 的 . 又 Flzn) 
有 下 界 , 故 /za) 得 极限 存在 , 因此 有 > jzkH) 一 0. 令 s=akdk, 则 由 
和 可 得 cos 峻 >sinA 及 

工 


0 过 二 钰 (时 硬 ) 王 一 外 产 芭 二 (Un 一 0 《2.17) 








习 


故 
0 中 glssllsinm ss lgkllskllecosgx 一 一 sk 一 0 

注意 到 |lox|l| >s > 0, 故 由 上 式 必 有 sx|| 一 0. 又 由 于 VJ(z) 在 水 平 集 工 (zo) 上 

一 致 连续 的 , 我 们 有 











VJ(zkH) 一 驮 5 十 oo 人 (sl)， 
上 
下 一 co gz SA 
这 与 IJ 式 及 v < 1 矛盾 . 因而 必 有 |o| -> 0 


阿 ss 假设 z* 是 序列 {zx} 的 聚 点 且 立 (lz 关 0 nl 
得 zh) -> jz 及 lzh - ftzst) -0. 又 由 Armijo 准则 的 条 件 人 1 引 ,我们 




















过 


人 下 丰 
一 OK SK 下 0， OK SK = 人 0， 


此 处 吕 = Bmaedi 着 go 全 0 不 成 立 , 则 由 上 式 可 得 |sx|| 一 0， 由 于 在 
Armijo 准则 的 条 件 人 1 引 中 , mx 是 使 不 等 式 成 立 的 最 小 非 负 整数 , 因此 对 于 
pre = bra/ 1 


j 人 十 Bldk) 一 zh) > aBm ok dk 
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注意 到 Brx-ldkx = sk/3, 故 上 式 即 


/mv 十 5] 一 jzZk) > cg 村) (2.18) 


本 5 5 5 5 
若 人 站 = 位, 则 莹 一 芝 pe 由 | 一 0 可 知 扑 = 芝 0 且 他 二 式 
贡 |sal 忆 
写 尖 


Jr 十 aDE) 一 7Zp) 
Q4 
lz = 了 改 划 px 有 界 , 从 而 存在 收 和 敛 的 子 列 , 仍 记 为 攻 mx 直人 一 天 ,ol = 
1. 对 上 式 两 边 取 极 限 得 





0g7 DDN 





束 有 7 志 








由 此 可 得 
Vjz9zor > 0. (2.19) 
另 一 方面 , 注意 到 
3 
ET 
故 有 
一 钛 Dr 一 一 史 ( 训 条 ) 王 ||okllcos 弘 症 ol sin 1 
对 上 式 取 极 限 得 
-Vj(o) 人 >‖YFo lsinw> 0， 
即 


六 人 
这 与 式 矛 盾 . 故 必 有 立 j(z”) = 0. 
下 面 的 定理 描述 了 基于 精确 线 搜索 技术 的 无 约束 优化 问题 下 降 类 算法 的 收 
敛 性 . 
定理 12 设 {fzk} 是 由 算法 加 产生 的 序列 , F(z) 有 下 界 且 对 任意 的 z0 E 取 "， 
Vj(z) 在 水 平 集 


















































Z(zo) = 世 ER| cz) SAzo)} 
上 存在 且 一 致 连续 . 若 下 降 方向 办 满足 条 件 且 搜索 步 长 ak 满足 精确 线 
搜索 条 件 人 .] 各 . 则 若非 故 一 0, 必 有 了 及 一 0(F 一 co). 


. 29 . 





第 二 章 。 线 搜索 技术 82.3” 线 搜索 法 的 收敛 性 


证 只 需 证 明史 夭 0 时 必 有 中 一 0(5 一 oo) 成 立 . 用 反 证 法 . 和 若 呈 一 0 不 
成 立 , 则 存在 常数 es > 0 和 一 个 子 列 ( 仍 记 为 该 序列 本 身 ) 使 得 lo|| > < 

首先 , 由 算法 回 的 步 4 知 , {f(za)} 是 单调 下 降 的 , 再 注意 到 f(zk) 有 下 界 
故 序列 {f(zp)} 的 极限 存在 , 从 而 
































jzZkH) 一 2p) 一 0， 大 一 co， (2.20) 
另 一 方面 , 我 们 有 
一 狼 水 司 
一 glcos 之 ssinAw=eo. (2 
|aal 
由 泰勒 展开 式 得 


jz 二 adp) = zzb 二 Tag(G) dx 
= jzp) 二 agg 因 十 alg(t) 一 多 人 


< e+alal| 呈 + olko 一 ol， ee 


其 中 总 是 连接 zx 与 十 adkx 线段 上 的 某 一 点 . 由 于 9(z) = YAz) 在 水 平 集 
5(zo) 上 一 致 连续 , 故 存在 芭 > 0, 使 当 0<alldkl < Ga 时 ， 








1 
lg(6) 一 gr 和 5eo， YE0 (2.23) 


在 中 令 ac = Gdul, 并 利用 和 (2.23) 得 


CQ 元 CQ 
/人 + 全 罗 ) 夺 7 二 可 给 本 -oo 一 al 
和 zh) +l| 一 so+ 5eo| 
二 ac 


由 精确 搜索 条 件 得 


J 帮 CCkrHID 挟 天 号 吕 册 T 芝 二 让 专 Te 








这 与 式 矛 盾 ， 从 而 9ox 一 0. 
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1. 用 0.618 法 求解 
min /z) 一 2 一 zz 一 1 
初始 区 间 为 [-1,1, 区 间 精 度 为 6 = 0.05. 
2. 用 0.618 法 求 
min jz) 一 2z3 一 2 十 1 


的 近似 最 优 解 , 初始 搜索 区 间 为 [0,3]. 区 间 精 度 为 6 = 0.15. 

3， 用 抛物 线 法 求 ftz)] = 既 一 6z 十 2 的 近似 极 小 点 , 给 定 初始 点 zo = 1 初始 步 长 
]j.0 = 0.1. 

4， 用 热 物 线 法 法 求 














2 
到 这 7) 一刀 一 2 十 1 


的 近似 最 优 解 , 初始 搜索 区 间 为 [0,3], 初始 插值 点 zo = 1 终止 条 件 为 |zk+1i 一 zk| < 5 = 0.01. 
5. 分 别 用 教材 所 给 的 0.618 法 和 抛物 线 法 Matlab 程序 计算 下 列 问题 的 近似 最 优 解 : 
(1) min jz) 一 e-z 十 22; (2) min Flz) = 3z4 一 4273 一 1272; 
(3) min flz) = ZL 二 2z+4 (4 min jz) =23 一 3z 十 1. 
6， 利 用 教材 所 给 的 Armijo 搜索 Matlab 程序 计算 下 面 的 问题 : 



































min wp(Z) = /zz 十 aqdp)， 


其 中 jz) = 100(za 一 z3)2 十 (1 一 2Z)2) 人 三 (一 117 dk 三 (1) 


二、 


第 三 章 ” 最速 下 降 法 和 牛顿 法 


本 章 讨 论 无 约束 优化 问题 
min /2) (3 


的 最 速 下 降 法 和 牛顿 法 及 其 改进 算法 . 其 中 最 速 下降 法 是 求解 无 约束 优化 问题 最 
简单 和 最 古老 的 方法 之 一 , 虽然 时 至 今日 它 不 再 具有 实用 性 , 但 它 却 研究 其 它 无 
约束 优化 算法 的 基础 , 许多 有 效 算法 都 是 以 它 基 础 通过 改进 或 修正 而 得 到 的 . 此 
外 , 牛顿 法 也 是 一 种 经 典 的 无 约束 优化 算法 , 并 且 因 其 收敛 速度 快 以 及 具有 自 适 
应 性 等 优点 而 至 今 仍 受到 科技 工作 者 的 青 上 . 







































































3.1 最速 下 降 方 法 及 其 Matlab 实现 


在 第 2 章 关 于 无 约束 优化 问题 下 降 类 算法 的 一 般 框 架 时 提 及 , 用 不 同 的 方式 
确定 搜索 方 癌 或 搜索 步 长 , 就 会 得 到 不 同 的 算法 . 最 速 下 降 法 是 用 负 梯 度 方 加 





























作为 搜索 方向 的 (因此 也 称 为 梯度 法 ). 设 flz) 在 浆 附近 连续 可 微 , dr 为 搜索 方 
向 向 量 , % = VJzp). 由 泰勒 展开 式 得 























j 十 ad) = zi)+aott Tola)，a > 0. 
那么 目标 函数 /z) 在 zx 处 沿 方向 改 下 降 的 变化 率 为 
和 ICaeTa 四 一 fa na 下 +olg) 


Q 一 0 CQ QQ 一 0 





= 97d = olexllcosg， 


其 中 办 是 名 与 尿 的 夹 角 . 显然 , 对 于 不 同 的 方向 we, 函数 变化 率 取决 于 它 与 央 
夹 角 的 余 弱 值 . 要 使 变化 率 最 小 , 只 有 cos = -1 即 外 = 和 时 才能 达到 , 亦 即 
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汉 应 该 取 中 的 负 梯 度 方向 , 这 也 是 将 负 梯 度 方向 叫 作 最 速 下 降 方向 的 由 来 . 
F 面 给 出 最 速 下 降 法 的 具体 计算 步 又 . 


算法 7 (最 速 下 降 法 ) 

步 0 选取 初始 点 Z0 E 有"， 容许 误差 0 和 < < 贸 1 令 8 有 :=1. 

步 1 计算 由 =VF(z). 车 |ok < es, 停 算 , 输出 zx 作为 近似 最 优 解 . 
步 2 取 方 向 必 = 一 9 

步 3 由 线 搜索 技术 确定 步 长 因子 ak 

步 4 令 Tp1: 一 人 十 akdi 天 :一 大 十 1 转 步 1 




















说 明 步 3 中 步 长 因子 ax 的 确定 即 可 使 用 精确 线 搜索 方法 , 也 可 以 使 用 非 精 
角 线 搜索 方法 , 在 理论 上 都 能 保证 其 全 局 收敛 性 . 若 采 用 精确 线 搜索 方法 , 即 























人 一 司 | 














ZK 十 QkQK) 一 ZI 大 ZK 十 QQ )， 
那么 ax 应 满足 


d(a) 一 所 7 十 Qdk | 一 ou 三 VC 十 akdk)7 cd 三 昨 : 





由 悟 引 有 
VFzer Von)=， 
即 新 点 zk+l 处 的 梯度 与 日 点 zx 处 的 梯度 是 正 交 的 , 也 就 是 说 迭代 点 列 所 走 的 路 
线 是 锯齿 型 的 , 故 其 收敛 速度 是 很 缓慢 的 (至 多 线性 收敛 速度 ). 
由 仅 = 一 色 及 人 .1 即 
一 然 沙 一 名 ( 一 旨 
ez ee 一 ol 








co05 纹 一 王公 人 处 =， 











故 条 件 必然 满足 (0 < 欠 < = 三世 太 有 看 从 而 直接 应 用 定理 | 和 定理 
即 得 町 最 速 下 降 法 的 全 局 收敛 性 定理 : 





定理 13 设 目标 函 数 /z) 连续 可 微 且 其 梯度 函数 Vz) 是 Lipschitz 连续 
的 ，{zk} 由 最 速 下 降 法 产生 , 其 中 步 长 因子 ak 由 精确 线 搜 索 ， 或 由 Wolfe 准则 ， 
或 由 Armijo 准则 产生 . 则 有 


dm |V 帮 cp)l = 0. 


. 33 . 

















第 三 章 最速 下 降 法 和 牛顿 法 | 画 目 录 |$3.1 最速 下 降 方法 及 其 MATLAB 实现 























下 面 的 定理 给 出 了 最 速 下 降 法 求解 严格 凸 二 次 函数 极 小 值 问题 时 的 收敛 速 
度 估计 , 其 证 明 可 参阅 有 关 文 献 , 此 处 省 略 不 证 . 











大 


冻 


定理 14 设 短 阵 万 E 及 "xm 对 称 正定 , cE 琢 ". 记 入 和 和》 分 别 是 万 
和 最 小 特征 值 , K = XI 考虑 如 下 极 小 化 问题 














工 
min 站 z) 一 cz 十 5 五 7 


设 {zk} 是 用 精确 线 搜 索 的 最 速 下 降 法 求解 上 述 问题 所 产生 的 选 代 序 列 , 则 对 于 
所 有 的 大 下 面 的 不 等 式 成 立 


lzsa 一 ls (cm 一 ls， (33) 


其 中 , z 是 问题 的 唯一 解 ,zllzr = VzT7. 


由 上 面 的 定理 可 以 看 出 , 若 条 件数 A 接近 于 1 ( 即 互 的 最 大 特征 值 和 最 小 特 
征 值 接近 时 ), 最 速 下 降 法 是 收敛 很 快 的 . 但 当 条 件数 上 较 大 时 ( 即 互 近似 于 病 
态 时 ), 算法 的 收 和 敛 速度 是 很 缓慢 的 ， 

下 面 我 们 给 出 基于 Armijo 非 精 确 线 搜索 的 最 速 下 降 法 Matlab 程序 . 


程序 4 (最 速 下 降 法 程序 ) 

















function [x,val,k]=grad(fun,gfun,XO) 

% 功 能 : 用 最 速 下 降 法 求解 无 约束 问题 : min f(x) 

Y% 输 入 : x0 是 初始 点 ，fun，gfun 分 别 是 目标 函数 和 梯度 

% 输 出 : Xx，val 分 别 是 近似 最 优点 和 最 优 值 ， 是 迭代 次 数 . 
maxk=5000; “Y% 最 大 迭代 次 数 

rho=0.5;Sligma=0.4; 








KX=0; ， epsilon=1le-5; 
While(k<maxK) 
g=feval(gfun,x0); % 计 算 梯 度 
d=-g; % 计 算 搜 索 方向 
if(norm(d)<epsilon) ，break; end 
m=0 ; mK=0O ; 
while(m<20) ”YArmijo 搜 索 
if(feval(fun,x0O+rho”"mkd)<feval(fun,x0)+sigmakTrho>`mkg?#kd) 
ImK=m;i break; 


end 


3 机 。 
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Im=m+1 ; 
end 
XO=XO+Tho ”~mKkd ; 
KK=K+1T; 
end 
X=XO ; 


Val=feval(fun,Xx0O) ; 
例 11 利用 程序 图 求解 无 约束 优化 问题 
min jz) = 100(z7 一 Za)2 十 (2Z1 一 了 2 


该 问题 有 精确 解 zx = (1,1)7， jz = 0 
解 首先 建立 两 个 分 别 计算 目标 函数 和 梯度 的 mm 文件 : 


function f=fun(Xxy) 

f=100*x (X(1) ”2-X(2)) ”2+(X(1)-1) >2; 

function g=gfun(X) 

g=[400*x(1)#(xX(1) 2-Xx(2))+2k(X(1)-1) ，-200+k(X(1) ”2-x(2))] ，; 


















































我 们 利用 程序 名 终 (Zhi < 10-5. 取 不 同 的 初始 点 , 数值 结 
果 如 下 表 . 
表 4.1 最 速 下 降 法 的 数值 结果 . 
初始 点 (zo) | 代 次 数 ( 丰 ) | 目标 函数 值 (zx)) 
(0.0, 0.0) 1159 1.1630 x 10-10 
(2.0,1.0) 611 1.1416 x 10-10 
(1.0, 一 1.0)7 1551 1.2251 x 10-10 
(一 1.0, 一 1.0)7 1499 9.2536 x 10-11 
(一 1.2, 1)7 1435 1.1985 x 10-10 
(10, 一 10)7 1024 1.0156 x 10-10 

















由 上 表 可 以 看 出 , 最 速 下 降 法 的 收敛 速度 是 比较 缓慢 的 ， 
说 明 上 述 程序 的 调用 方式 是 : 


XO=[-1.2 1] ，; 
[x,val,Kk]=grad(fun，gfun,XO) 


其 中 fun, gfun 分 别 是 求 目标 函数 值 及 其 梯度 的 M 函数 文件 . 
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3.2 “牛顿 法 及 其 Matlab 实现 


跟 最 速 下 降 法 一 样 , 牛顿 法 也 是 求解 无 约束 优化 问题 最 早 使 用 的 经 典 算法 之 
一 . 其 基本 思想 是 用 友 代 点 Zr 处 的 一 阶 导数 (梯度 ) 和 二 阶 导 数 (Hesse 阵 ) 对 目 
标 函 数 进行 二 次 函数 近似 , 然后 把 二 次 模型 的 极 小 点 作为 新 的 友 代 点 , 并 不 断 重 
复 这 一 过 程 , 直至 求 得 满足 精度 的 近似 极 小 点 . 

下 面 来 推导 牛顿 法 的 友 代 公式 . 设 ffz) 的 Hesse 阵 G(z) = V2 Hz) 连续 , 堆 
取 其 在 zx 处 的 泰勒 展开 式 的 前 三 项 得 























gu 一 友 十 玫 人 一 ai 二 5 一 arGutz 一 an 


其 中 太 = zi 中 三 VJzp Gx 一 V2 zh) 求 二 次 函数 GK(Z) 的 稳定 点 ， 得 





Vdk(Z) 一 OK 十 CR(Z 二 8) 三 :U. 


若 Gx 非 奇 异 , 那么 解 上 面 的 线性 方程 组 ( 记 其 解 为 zk+fi) 即 得 牛顿 法 的 友 代 公式 





必 [+L1 二 K 一 CT LO (3.4) 


在 欠 代 公式 中 每 步 迭 代 需 要 求 Hesse 阵 的 逆 Gz1, 在 实际 计算 中 可 通过 先 
解 Gkd = 一 % 得 , 然后 令 zk+i = 您 十 大 来 避免 求 着 . 这 样 , 可 以 写 出 基本 午 
顿 法 的 步骤 如 下 ;: 

算法 8 (基本 牛顿 法 ) 

步 0 给 定 终止 误差 值 0 芭 = 锭 1 初始 点 Zoo E 了 月" 令 大 :0. 

步 1 计算 四 =VJ(zh. 若 |gr| < es, 停 算 , 输出 太 ZK 

步 2 计算 G4=V2F(zh), 并 求解 线性 方程 组 得 解 疏 : 























CKQ 一 一 9. 
步 3 令 ZL 一 人 十 CN 大 村， 转 步 1. 


牛顿 法 最 突出 的 优点 是 收敛 速度 快 ， 具 有 局 部 二 阶 收敛 性 . 下 面 的 定理 表明 
了 这 一 性 质 . 


定理 15 设 函 数 flz) 有 二 阶 连续 偏 导数 ,在 局 部 极 小 点 凡 处 G(z*) 一 
V2 Hz 是 正定 的 且 GZ) 在 太 的 一 个 邻 域内 是 Lipschitz 连续 的 . 如 果 初 始点 
Z0 充分 靠近 z*, 那么 对 一 切 [牛顿 迭代 公式 是 适 定 的 ,并 当 {fzk]} 为 无 穷 
点 列 时 ,其 极限 为 z*， 且 收 你 阶 至 少 是 二 阶 的 . 
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证 由 G(z*) 的 正定 性 及 /二 次 连续 可 微 可 知 , 存在 z* 的 一 个 邻 域 U(z9)， 
使 得 对 任意 的 ze V(z), 都 有 G(z) 是 一 致 正定 的 . 特别 地 , |G(o) 有 | 在 到 (z9) 
上 有 界 , 即 存在 常数 M > 0, 使 得 ‖G(z)-!< AM, Yze 态 (z9). 又 由 G(z) 的 连 
续 性 可 知 , 存在 邻 域 (z*), 使 得 

















米 工 米 米 
ic 一 GCC 咱 S 有 7 YZSDCJSDC) 


因此 , 当 zo E UV(z*) 时 , 有 
lz 一 = lz 一空 一 GD gol 
< 1G5 lg(zo) 一 9(z) 一 Go(zo 一 2) 


< |G5 人 cer+re-o)e-odtr-Goco-o] 














< M 1 lclz*+rleo 二 oz) 一 Gleollzo -zllar 
< xf 1/ 1G( 一 +r(zo 一 2Z)) 一 Gdqr 


-ice -Genlarjlen 一 | 


| 
< jllzo 一 2 (3.5) 





上 式 特 别 说 明 , zi s V(z9). 类 似 地 , 利用 归纳 法 原理 , 可 证 明 对 于 所 有 的 有 之 1 
有 

















1 
| zk 一 2 好 | 和 可 zx 三 好 中 


因此 {zt c V(z, 且 估 全 入 (一 co). 进一步 , 类 似 于 他 .中 的 推导 , 可 得 


下 
|zsr 一 天 去 1/ 1c(e +T 一 一 Gza 几 m 一 天 dr 
0 


oz 一 2 才 ， 


即 {zk} 超 线性 收敛 于 z*. 若 G(z) 在 z* 的 一 个 邻 域内 Lipschitz 连续 , 则 由 上 式 
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即 {zk} 二 次 收敛 于 六 . 证 毕 . 
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| 和 人 


上 zs 一 | 


M (/ [| 羡 全 9 
+ ice -ceolanjlm-al 
or( 人 


二 宁 Pr 一 好 2， 


| 人 


























上 述 定理 指出 , 初始 点 需要 足够 “靠近 ” 极 小 点 , 否则 有 可 能 导致 算法 不 收 











敛 . 由 于 实际 问题 的 精确 极 小 点 一 般 是 不 知道 的 , 因此 初始 点 的 选取 给 算法 的 实 
际 操作 带 来 了 很 大 的 困难 . 为 了 克服 这 一 困难 , 可 引入 线 搜索 技术 以 得 到 大 范围 
收敛 的 算法 , 即 所 谓 的 阻尼 牛顿 法 . 我 们 给 出 一 个 基于 Armijo 搜索 的 阻尼 牛顿 



































法 如 下 : 


算法 9 (阻尼 牛顿 法 ) 
步 0 给 定 终止 误差 值 0< se < 多 10eEl(0lD, ce(0,0.5)， 初始 点 Zo E 开 ". 














令 大 :0. 


步 1 计算 由 =VF(zn). 若 |ok < es, 停 算 ,输出 Zr ZK 
步 2 计算 CT 一 V2 zk)， 并 求解 线 性 方程 组 生 导 解 Qi 


汪 有 攻击 
步 3 记 mnp 是 满足 下 列 不 等 式 的 最 小 非 负 整 数 m: 
人 十 567dh) < zz 十 aomgl dy. (3.7) 
步 4 邻 2 三 人 十 apal :一 大 十 1 转 步 工 
我 们 给 出 算法 加 的 全 局 收敛 性 定理 如 下 : 
定理 16 设 函 数 F(z) 二 次 连续 可 微 且 存在 常数 y > 0, 使 得 

















dV2Fzjd>ylldl2 Yae "ze 二 (20)， (3.8) 





其 中 工 (zo) = {zlj(z) < jzo)}. 设 {fzh}j 是 由 算法 加 产生 的 无 穷 点 列 , 则 该 点 列 
收敛 于 三 在 水 平 集 L(zo) 中 的 唯一 全 局 极 小 点 














第 三 章 ”最速 下 降 法 和 牛顿 法 83.2 “牛顿 法 及 其 MATLAB 实现 








证 由 条 件 知 , 矿 是 水 平 集 Z(zo) 上 的 一 致 凸 函 数 , 因此 一 定 存 在 唯一 
的 全 局 极 小 点 袜 , 且 巡 是 VJz) = 0 的 唯一 解 . 

由 于 /是 西 函数 , 故 水 平 集 5(zo) 是 一 个 有 界 闭 凸 集 . 注意 到 算法 加 的 步 3， 
序列 {F(zp)} 是 单调 下 降 的 . 故 显 然 有 {fzk} C 工 (zo). 

由 和 不 难得 到 


























ex s 2leal， 
其 中 8 > 0 是 某 个 和 常数. 设 天 是 {zh} 的 任意 一 个 极限 点 , 则 有 太一 帮 动 . 记 惧 
是 负 梯 度 方向 -9 与 牛顿 方向 四 = -GT5L 的 夹 角 . 由 上 式 和 (2.0 (3.8j) 可 推 
得 
一 外 四 不 Grd 、 了 人 | 
| ge gellesl loleal 
?ld 、 7 
二 之 二 > 0. 
| 9 尼 
则 由 定理 111 可 得 
可 wo 


即 {zx} 的 极限 点 都 是 稳定 点 . 由 j 的 凸 性 知 , 稳定 点 亦 即 (全 局 ) 极 小 点 . 故 由 
极 小 点 的 唯一 性 知 , {zk} 收敛 于 上 在 水 平 集 Z(zo) 上 的 全 局 极 小 点 . 证 毕 . 

为 了 分 析 算 法 加 的 收敛 速度 , 需要 用 到 下 面 的 引 理 , 其 详细 的 证 明 过 程 可 参 
见 文 献 图 . 






































引 理 3 设 函 数 汪 : 了" 一 疏 二 次 连续 可 微 , 点 列 {zk} 由 算法 加 产生 . 设 
{zZ 夺 一 太 且 9q(290) 三 0 G(z) 正定 . 那么 , 若 

















诅 |G(zz)az 十 gp _ 


0， 3.9 
av | 





则 (1) 当天 充分 大 时 , 步 长 因子 败 三 1. (2) 点 列 {Zh} 超 线性 收 人 系 于 Zr 


定理 17 设 定理 [6| 的 条 件 成 立 , 点 列 {zk} 由 算法 四 产 生 , 则 {zk} 超 线性 
收 伊 于 三 的 全 局 极 小 点 2*. 此 外 , 若 Hesse 阵 G(Z) 在 z 祝 处 Lipschitz 连续 ， 则 
收敛 阶 至 少 是 二 阶 的 . 
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证 定理 [6] 已 证 明 {z 夺 一 和 六 且 g(z*) =VJ(z*) = 0. 又 由 算法 加 的 步 2 显 
然 有 条 件 成 立 . 故 由 引 理 罩 1) 可 知 对 于 充分 大 的 &, ax = 1 满足 算法 中 的 
线 搜 索 式 . 因此 , 由 定理 由 引 立即 得 到 {fzx} 至 少 二 阶 收敛 于 z. 证 毕 . 

下 面 我 们 给 出 基于 Armijo 非 精确 线 搜索 的 阻尼 牛顿 法 Matlab 程序 


程序 5 (阻尼 牛顿 法 程序 ) 












































function [x,val,k]=dampnm(fun,gfun,Hess,x0O) 

% 功 能 : 用 阻尼 牛顿 法 求解 无 约束 问题 : min f(x) 

% 输 入 : x0 是 初始 点 ，fun，gfun，Hess 分 别 是 求 

儿 目标 函数 值 ,梯度 ,Hesse 阵 的 函数 

% 输 出 : x，val 分 别 是 近似 最 优点 和 最 优 值 ， 是 迭代 次 数 ， 
maxk=100 ; Y 给 出 最 大 迭代 次 数 

rho=0.55;Sigma=0.4; 





KK=0; ， epsilon=1le-5; 

While(k<maxK) 
gKk=feval(gfun,x0); % 计 算 梯 度 
Gk=feval(Hess,x0); Y 计 算 Hesse 阵 
dk=-GkNgk; % 解 方程 组 Gkxdk=-gk， 计 算 搜 索 方 向 
if (norm(gk)<epsilon) ，break; end 《检验 终止 准则 
m=0 ; mKk=O ; 
while(m<20)  % 用 Armijo 搜 索 求 步 长 

if(feval(fun,x0O+rho>`mkdk)<feval(fun,X0O)+Sigmakrho>mkgk)?#dk) 

















ImK=zm;i break; 
end 
m=m+1 ; 
end 
XO=XO+Tho ”~mKkdkK ; 
KK=K+1T; 
end 
X=XO ; 


Val=feval(fun ,X) ; 
例 12 利用 程序 回 求 解 无 约束 优化 问题 
min Fz) = 100(z1 一 Za) 十 (2 一 了 2 
该 问题 有 精确 解 习 = (1,1)7， jz*) = 0 
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FE 牛顿 法 及 


其 MATLAB 实现 








解 除了 例 [ 虽 中 建立 的 两 个 计算 目标 函数 和 梯度 的 mm 文件 之 外 , 还 需 建立 


求 Hesse 阵 的 mm 文件 : 


function He=Hess(x) 
D=]Length(x) ; 


He=zeros (ny,Dn) ; 


He=[1200*Xx(1) ”~2-400*+X(C2)+2，-400*X(1) ; 


-400*xx(1) ， 


我 们 利用 程序 问 终止 准则 取 为 |Yjzal < 10-5. 取 不 同 的 初始 点 , 数值 结 


果 如 下 表 . 


200 


表 4.2 阻尼 牛顿 法 的 数值 结果 . 












































初始 点 (zo) | 和 友 代 次 数 ( 丰 | 目标 函数 值 (/zn)) 
(0,0)7 13 9.6238 x 10- 瑟 
(0.5; 0.5) 二 11 3.5183 x 10- 了 3 
(2, 2)7 14 1.6322 xx 10 二 
(一 1 一 1)7 20 3.6221 x 10-17 
(1, 10) 1 4.9309 x 10-28 
(10, 10)7 47 3.3426 x 10-I 
(20, 20)7 73 3.0386 x 10- 























XO=[-1.2 1] ，; 








由 上 表 可 以 看 出 , 阻尼 牛顿 法 的 收敛 速度 是 比较 令 人 满意 的 . 
说 明 上 述 程序 的 调用 方式 是 : 


[x,val,Kk]=dampnm(fun”,，gfun? ,Hess' ,X0O) 


其 中 fun, gfun， Hess 分 别 是 求 目标 函数 值 和 它 的 梯度 及 其 Hesse 阵 的 M 函数 文 


件 . 





3.3 ”修正 牛顿 法 及 其 Matlab 实现 


从 上 一 节 的 分 析 可 知 , 牛顿 法 具有 不 低 于 二 阶 的 收敛 速度 , 这 是 它 的 优点 . 
但 该 算法 要 求 目 标 函 数 的 Hesse 阵 G(z) = 
否则 难以 保证 牛顿 方向 改 =-G8 外 是 三 在 六 处 的 下 降 方向 . 为 珊 服 这 一 缺陷 ， 


























V“jz) 在 每 个 迭代 点 zx 处 是 正定 的 ， 
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可 对 牛顿 法 进行 修正 . 修正 的 途径 之 一 是 将 牛顿 法 和 最 速 下 降 法 结合 起 来 , 构造 
所 谓 的 “和 牛顿- 最速 下 降 混合 算法 ”, 其 基本 思想 是 : 当 V2j(zh) 正定 时 , 采用 牛 
顿 方向 作为 搜索 方向 ; 否则 , 若 V2j(zh) 奇异 , 或 者 虽然 非 奇 异 但 牛顿 方向 不 是 
下 降 方向 , 则 采用 负 梯度 方 向 作为 搜索 方向 . 我 们 写 出 详细 的 计算 步 又 如 下 : 





算法 10 (牛顿 -最 速 下 降 混 合算 法 ) 

步 0 给 定 初 始点 Z0 E 形 ", 终止 误差 0<E < 女工 令 太 := 1 

步 1 计算 由 =VF(zi). 若 |ok < es, 停 算 , 输出 区 作为 近似 极 小 点 . 
步 ? 计算 Gy = V2j(zh)， 解 方程 组 














CkQ 十 0 三 0. (3.10) 


若 (4.10) 有 解 中 且 满 足 gt dk < 0, 转 步 3; 否则 , 令 砍 = 一 % 转 步 3. 
步 3 由 线 搜索 技术 确定 步 长 因子 ak. 
步 4 令 ZL 一 2 十 Qkdh， 太 :一 有 十 |， 转 步 工 . 












































对 于 算法 [0| 利用 定理 四] 定理 [加 以 及 引 理 图 不 难 证 明 下 面 的 收敛 性 定理 . 


定理 18 设 对 任意 的 zo E 有", 水 平 集 P(zo) = {z| jz) < Fzo)} 有 界 , 且 
函数 三 在 包含 也 (zo) 的 一 个 有 界 闭 凸 集 上 二 次 连续 可 微 . {TZk} 由 采用 精确 线 搜 
索 ,， 或 Wolfe 准则 , 或 Armijo 准则 确定 步 长 因子 的 算法 [0 产生 的 选 代 序 列 ， 且 
存在 {zZp} 的 一 个 极限 点 z*, 使 得 G(z*) 正定 则 有 





lim inf ||ox|| = 0， 
下 一 co 


以 及 {zZk} 超 线性 收敛 于 驻 . 进一步 , 车 G(Z) 在 zx* 处 是 Lipschitz 连续 的 , 则 收 
你 速度 至 少 是 二 阶 的 . 








上 述 的 修正 牛顿 法 克服 了 牛顿 法 要 求 Hesse 阵 G(zkb) = V2 (zh) 正定 的 缺 
陷 . 克服 这 一 缺陷 还 有 其 它 的 方法 和 途径 . 例如 , 引进 阻尼 因子 必 > 0, 即 在 每 一 
迭代 步 适当 地 选取 参数 呈 使 得 矩阵 4 = G(zk) + Ai 正定 . 我 们 写 出 算法 步 耿 
如 下 ;: 











算法 11 (修正 牛顿 法 ) 
步 0 给 定 参数 ge(0,1D),reil0l, ce(0,0.5), 终止 误差 0 和 <s < 贸 1. 初始 
点 X0 生 民 7”. 令 三 0. 
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步 1 计算 和 =VJ(z 大 三 外 9 车 |ok| 和 es, 停工 , 输出 zx 作为 近似 
极 小 点 . 
步 2 计算 Hesee 阵 和 =V2F(zi). 解 线性 方程 组 
GE 十 AD)d = 一 《3.1D) 
得 解 四 
步 3 令 ox 是 满足 下 列 不 等 式 的 最 小 非 负 整 数 77: 
F( 人 十 6mdk) 区 jz 十 a6mgt dk (3.12) 


令 咪 一 07 ZN :一 2 十 akdk 

步 4 令 丰 := 大 十 1 转 步 工 

下 面 的 定理 给 出 了 算法 [| 的 全 局 收敛 性 , 其 证 明 可 参看 文献 [4 引 . 

定理 19 设 函 数 钱 :下 " 一 要 有 下 界 且 二 次 连续 可 微 , G(Z) = V2H(z) 半 正 
定 且 Lipschitz 连续 . 则 由 算法 中 产生 的 迭代 序列 {fzk} 的 任何 极限 点 都 是 问题 
的 解 . 


已 有 研究 证 明 , 当 目 标 函 数 的 Hesse 阵 G(z) = V2jz) 在 极 小 点 z* 处 奇异 
时 , 牛顿 法 的 收敛 速度 可 能 会 降低 为 线性 收敛 速度 . 下 面 我 们 给 出 奇异 解 的 概念 . 















































定义 14 若 在 问题 (3. 引 的 极 小 点 * 处 Hesse 阵 G(z*) 奇异 , 则 称 z* 是 问 
题 (3.] 的 奇异 解 . 


当 问 题 位 直 有 奇异 解 时 , 其 解 可 能 不 唯一 , 此 时 我 们 用 X 表示 其 解 集 , 即 














X={ 刀 | =min jz ZE 了 "| 





定义 15 设 z*EX, 函数 0:Rn" 一 恨 , .车 存在 * 的 邻 域 U(z] 及 常数 
y > 0, 使 得 














bzZ) 之 ydist(Z;, 和)， ZEU(Z)， (3.13) 


其 中 dist(z,X) 表示 点 灿 到 集合 X 的 距离 , 则 称 函 数 0 在 邻 域 U(z') 内 对 问题 
解 集 合 X 提供 了 一 个 局 部 误差 界 . 

















F 面 的 定理 给 出 了 算法 [的 局 部 收敛 速度 的 估计 , 其 证 明 可 参看 文献 团 . 
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定理 20 设 定理 [gj 的 条 件 成 立 . 若 由 算法 [| 产生 的 选 代 序列 {zp} 有 子 
列 {zr :大 GE 天] 收 化 于 2* EX 且 函 数 |g(z)| 在 zr 的 某 邻 域内 对 问题 全 下 提 
供 了 一 个 局 部 误差 界 , 则 当 1 E 玉 充分 大 时 , 岂 三 1 且 子 列 {z :KE 开 二 阶 
收敛 于 xz" 即 存在 常数 B > 0 使 得 


dist(ZiDX) < DODdist(zh), 入) 








下 面 我 们 给 出 算法 [H ( 修 正 牛顿 法 ) 的 Matlab 程序 . 
程序 6 (修正 牛顿 法 Matlapb 程序 ) 


function [x,val,k]=revisenm(fun,gfun,Hess,XO) 

% 功能 : 用 修正 牛顿 法 求解 无 约束 问题 : min f(x) 

Y 输 入 : x0 是 初始 点 ，fun，gfun，Hess 分 别 是 求 

儿 目标 函数 值 ,梯度 ,Hesse 阵 的 函数 

% 输 出: x，val 分 别 是 近似 最 优点 和 最 优 值 ， 是 迭代 次 数 ， 
D=Jength(x0) ; maxk=150 ; 

Tho=0.55;Sigma=0.4; tau=0.0; 











KX=0; epsilon=1le-5; 

While(Kk<maxK) 
gKk=feval(gfun,x0); % 计算 梯度 
muk=norm(EK) ”~ (1+tau) ; 
Gk=feval(Hess,x0); % 计算 Hesse 阵 
AKk=GKk+mukkeye (D) ; 
dk=-AkNgk; % 解 方程 组 Gkxkdk=-gk， 计 算 搜 索 方 向 
if (norm(gk)<epsilon) ，break; end 《检验 终止 准则 
m=0 ; mK=0O ; 
while(m<20)  % 用 Armijo 搜 索 求 步 长 

if(feval(fun,x0O+rho>`mkdk)<feval(fun,X0O)+SigmakTrho~mkgk)?#dk) 

















ImK=zm;i break; 
end 
Im=m+1T1 ; 
end 
XO=XO+Tho ”~mKkdkK ; 
区 =K+1T 
end 
X=XO ; 


Val=feval(fun,Xx) ; 
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例 13 利用 程序 加 求解 无 约束 优化 问题 


83.3 修 





FE 牛顿 法 及 
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Ia 记 jz) = 100(z1 一 Za 关上 十 (2 一 了 


该 问题 有 精确 解 习 = (1,1)7，jz = 0. 


解 前 面 例 加 和 例 加 中 已 经 建立 的 计算 目标 函数 及 其 梯度 和 Hesee 阵 的 mm 
文件 , 可 以 重新 利用 . 取 终 止 准则 值 为 上 vtzajll < 10-5 利用 程序 回 取 不 同 的 
初始 点 , 数值 结果 如 下 表 . 




















表 4.3 修正 牛顿 法 的 数值 结果 ， 






































初始 点 (zo) | 友 代 次 数 (外 ) | 目标 函数 值 (F(zp)) 
(0,0)7 16 4.7808 x 10- 了 2 
(0.5; 0.5) 10 2.4524 X 10- 巧 
(2,2)7 17 1.3250 x 10- 芭 
(二 1 一 1 2 2.3697 x 10- 了 2 
(1, 10)7 1 4.9309 x 10-28 
(10, 10)7 46 4.5469 x 10-18 
(20, 20)7 76 9.1654 x 10-33 











G 十 AT 只 是 Hesee 阵 Gy 的 一 个 近似 . 


说 明 上 述 程序 的 调用 方式 是 : 





XO=[-1.2 1] ，; 


[x,val,Kk]=revisenm(fun,gfun，Hess，,X0) 


其 中 fan, gfun, Hess 分 别 是 求 目 标 函 数值 和 它 的 梯度 及 其 Hesse 阵 的 M 函数 文 


件 . 


习题 3 





由 上 表 可 以 看 出 , 修正 牛顿 法 的 收敛 速度 不 如 阻尼 牛顿 法 


E 快 ， 因 为 失 阵 4 = 





1.， 用 最 速 下 降 法 求 flzi,za) = 3z1 二 2z2 -421 -6za 的 极 小 值 . 








2， 分 别 

















3， 用 最 ; 
必 0 一 (0， 3) 工 





柬 














. 45 ， 


牛顿 法 和 阻尼 牛顿 法 求 函数 /zi zz) = 423 十 一 8zl 一 472 的 极 小 点 . 
下 降 法 程序 求 函 数 /za za) = (zi 一 ?+(zi 一 2zo)2 的 极 小 值 点 , 取 初 始点 







































































第 三 章 最速 下 降 法 和 牛顿 法 $3.3 ”修正 牛顿 法 及 其 MATLAB 实现 
4， 用 牛顿 法 程序 求 Rosenbrock 函数 fz) = 100(zz 一 z2)2 + (zi 一 JJ)2 的 极 小 点 , 取 初 
始点 zo = (一 1 2, 1)7. 
5， 设 二 次 函数 为 flz) = 527Hz + orz, 其 中 瑟 是 ” 阶 对 称 正定 阵 , 证 明 最 速 下 降 法 
人 
求 ftz) 的 极 小 点 时 , 序列 {zk} 由 zkrl = 区 一 gj 天 = 0,1 2,…， 确立 , 其 中 zo 为 给 
天 开 
定 的 初始 点 \，0K 一 五 Zr 十 . 
6， 设 目标 函数 /z) = 4zz 十 2 一 Zizo 记 22 一 (1 z2 一 (3,4)7z2 一 (2,0)7 





代 ) 分 别 取 初始 点 20 二 422 人 二 这 ， 





(2) 注意 序列 {fzg} 和 {z8} 分 别 收敛 到 z? = 


的 极 小 点 , 即 空 是 太 的 一 个 鞍点 ; 





F 顿 法 计算 前 三 次 友 代 ; 
(0.07 和 邓 = (2V54)7 








, 证明 z? 是 /z) 




















































































































(3) 取 z8 = z2, 用 牛顿 法 计算 z?, 这 将 给 出 牛顿 法 失败 的 一 种 情形 . 

7， 给 定 函 数 jz) = (6+zi+za)2 二 (2 一 3z1 一 3zs 一 Zi7o2)2) 求 在 点 互 = (-46)7 处 
的 最 速 下 降 方 向 和 牛顿 方向 . 

8.， 考虑 函数 Fz) = z3 十 472 一 47 一 8zo2. 

(1) 证 明 : 若 从 xzo = (0,0)7 出 发 , 用 最 速 下 降 法 求 极 小 点 元 , 则 不 能 经 有 限 步 迭代 达到 
元 . 

(2) 是 否 存在 zo, 使 得 从 zo 出 发 , 用 最 速 下 降 法 求 Az) 的 极 小 点 , 经 有 限 步 欠 代 即 收 
敛 ? 

9.， 设 函数 F(z) = 2 其 中 互 对 称 正定 . 又 设 zo( 夭 丈 ) 可 表示 为 zo = 互 十 Wd， 
其 中 天 是 jz) 的 极 小 点 ,dg 是 互 的 属于 特征 值 和 的 特征 向 量 . 证 明 : 

() VJzo) = NAdi 

(2) 如 果 从 zo 出 发 , 沿 最 速 下降 作 精确 的 一 维 搜索 ， 则 一 步 欠 代 达到 极 小 点 元 . 
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前 面 介 绍 的 最 速 下 降 法 和 牛顿 法 都 具有 其 自身 的 局 限 性 . 本 章 将 要 介绍 的 共 
斩 梯 度 法 是 介 于 最 速 下 降 法 与 牛顿 法 之 间 的 一 种 无 约束 优化 算法 , 它 具 有 超 线 性 
收敛 速度 , 而 且 算 法 结构 简单 ,容易 编程 实现 . 此 外 , 跟 最 速 下 降 法 相 类 似 , 共 斩 
梯度 法 只 用 到 了 目标 函数 及 其 梯度 值 , 避免 了 二 阶 导 数 (Hesse 阵 ) 的 计算 , 从 而 
降低 了 计算 量 和 存储 量 , 因此 它 是 求解 无 约束 优化 问题 的 一 种 比较 有 效 而 实用 的 
算法 . 













































































4.1 共 斩 方 向 法 


共 恩 方向 法 的 基本 思想 是 在 求解 维 正定 二 次 目标 函数 极 小 点 时 产生 一 
共 力 方向 作为 搜索 方向 , 在 精确 线 搜索 条 件 下 算法 至 多 迭 代 双 步 即 能 求 得 极 小 
点 . 经 过 适当 的 修正 后 共 斩 方 向 法 可 以 推广 到 求解 一 般 非 二 次 目标 函数 情形 . 下 
面 移 介绍 共 斩 方 向 的 概念 . 


定义 16 设 G 是 几 阶 对 称 正定 答 阵 , 若 风 维 向 量 组 由 ,do ,da (mm 区 站 
满足 


















































妨 Gdi =0， ii 关 沁 
则 称 由 do ,dm 是 G 共 罗 的 . 


显然 , 向 量 组 的 共 斩 是 正 交 的 推广 , 即 当 G = 了 单位 阵 ) 时 , 上 述 定义 变 成 向 
量 组 正 交 的 定义 . 此 外 , 不 难 证 明 , 对 称 正 定 矩 阵 G 的 共 恩 向量 组 必然 是 线性 无 
关 的 . 

下 面 我 们 考虑 求解 正定 二 次 目标 函数 极 小 点 的 共 力 方向 法 . 设 


min 帮 Z) 一 5z7Grz 十 妈 十 ec， (4.1) 


其 中 G 是 到 阶 对 称 正定 阵 , ! 为 风 _ 维 常 向量 , c 为 常数 . 我 们 有 下 面 的 算法 : 
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算法 12 ( 共 斩 方 向 法 ) 

步 0 给 定 和 迭代 精度 0 区 = < 锭 1 和 初始 点 Z0. 计算 =Vzo). 选取 初始 方 
向 do 使 得 听 go < 0. 令 大 :=0. 

步 1 车 |okl < s, 停 算 , 输出 Zr* 2 

步 2 利用 精确 线 搜索 方法 确定 搜索 步 长 ak 

步 3 令 ZUHl :一 ZK 十 ahdh, 并 计算 gu 一 VH(zktl). 

步 4 选取 dk+l 满足 下 降 性 和 共 斩 性 条 件 : 


df 19k4H1 去 0U， df Gd: = 0U， ?2 一 0， |， 区 ,于 . 


步 5 令 丰 := 大 十 1 转 步 1 











给 出 算法 [3 的 收 和 敛 性 定理 . 











定理 21 设 目标 函数 六 由 性 芒 定义 . {zk} 是 算法 [3 产生 的 选 代 序 列 . 则 
每 一 步 和 迭代 点 ZK 二 1I 都 是 J 太 7) 在 0 a0， ai1， :全 0K 所 张 成 的 线 性 流 形 


大 
和 本 一 人 zl 一 20 十 >》 oadi wo 


2 一 0 


中 的 极 小 点 . 特别 , mm 一 一 一 G- 功 是 问题 性 下 的 唯一 极 小 点 








证 由 算法 [可 知 , do,d… ,di 是 G 巷 的 , 因而 是 线性 无 关 的 , 故 有 
9 1 = 有". 于 是 我 们 只 需 证 明 歼 太 上 是 太 在 线性 流 形 sx 中 的 极 小 点 即 可 . 

















太 


ZL 二 2 十 QkdK 一 …: 一 Zo 十 》 aadi GE .98. 
i=0 














另 一 方面 , 对 任何 ze 9x, 存在 5 < 琢 , ;= 0,1 ,大 使 得 


Z 三 00 十 >， La 
记 0 
记 
AL 一 2 一 ZN 一 >》 (6 一 oi)di. 
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回 目录 84.2 ” 共 罗 梯 度 法 








利用 泰勒 展开 公式 , 有 





由) 


下 面 只 需 证 明 





即 可 . 事实 上 ， 


故 当 ;i < 大 时 有 





| 
= 记 +1 十 9 PR 十 了 PH1GHhh+l 








|V 


用 十 ret 


用 十 > 一 Qi )9 dg 


gid， Vi=0)1)K (4.2) 


91H1 一 gj =GUzZiH 一 2 三 ajGa)， 


天 


内 日 语 = 0 成 十 (gj 一 分 起 


5 一 计 1 
达 
= gd+ >》 oajdGdi=0， 


J 一 证 1 

















其 中 上 式 的 第 一 项 与 求 和 项 为 0 分 别 由 精确 线 搜索 和 共 斩 性 得 到 . 当 ;? = 大 直接 


由 精确 线 搜索 可 得 gdk = 0. 从 而 性 秒 式 成 立 . 至 此 , 定理 的 结论 已 经 得 到 证 


明 . 






































注 1 2 可 知 , 在 精确 线 搜索 下 , 用 算法 [3 求解 正定 二 次 目标 函数 极 小 





化 问题 性 赴 , 至 多 在 
Wi 





说 








步 内 即 可 求 得 其 唯一 的 极 小 点 . 这 种 能 在 有 限 步 内 求 得 二 





第 称 为 二 次 终止 性 . 


4.2 ” 共 斩 袖 度 法 





共 斩 梯 度 法 是 在 每 一 友 代 步 利用 当前 点 处 的 最 速 下 降 方向 来 生成 关于 凸 二 








次 函数 / 的 Hesee 阵 G 的 共 斩 方 向 , 并 建立 求 了 在 陈 ” 上 的 极 小 点 的 方法 . 这 一 

















方法 最 早 是 由 Hesteness 和 Stiefel 于 1952 年 为 求解 对 条 


尔 正 定 线性 方程 组 而 提出 


来 的 , 后 经 Fletcher 等 人 研究 并 应 用 于 无 约束 优化 问题 取得 了 丰富 的 成 果 , 共 斩 











梯度 法 也 因此 成 为 当前 求解 无 约束 优化 问题 的 重要 算法 
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第 四 理 。 共 脆 梯度 法 84.2” 共 李 梯 度 法 
设 函 数 了 由 所 定义 , 则 /的 梯度 和 Hesse 阵 分 别 为 
g(Z=VHO=Gz+n GZ =YV2Hz) = G. (4.3) 


下 面 我 们 来 讨论 算法 [3 中 共 斩 方 向 的 构造 . 我 们 取 初 始 方向 do 为 初始 点 zo 处 
的 负 梯 度 方 向 , 即 




















从 zo 出 发 治 do 方向 进行 精确 线 搜索 得 求 步 长 co, 令 
21 三 00 十 Q0C0， 


其 中 ao 满足 条 件 




















Vjzi7ao = 9fdo = 0. (4.5) 
在 zi 处 ,用 艺 在 zi 的 负 梯 度 方向 -9i 与 do 的 组 合 来 生成 di, 即 
由 = 一 9 +podo， (4.6) 
然后 选取 系数 Bo 使 由 与 do 关于 G 共 斩 , 即 令 
d7Gao = 0 (4.7) 
来 确定 80. 将 (AS 得 
二 二 人 (4.8) 
由 性 :引得 
外 一 g%=G(zl -zol) = aoGdao. (4.9) 


另外 , 由 定理 让 | 可 知 gd = 0(4 = 0,1). 故 由 性 省 ~ 性 路 可 得 





gz go 一 0， 呆 9 一 0， 中 go = 一 外 9o，dd9i = 一 9!91. 


现 假设 已 得 到 相互 共 斩 的 搜索 方向 do, dj ,dk_1, 精确 线 搜索 得 到 的 步 长 
为 Q0, QT )，QK 一 1， 且 满 足 














厌 1G 丰 =0， 王 0 一 2， 
879 一 一 99i， 一 0)1 天 一 | (4.10) 
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现 令 
大 一 2 
灰 一 一 钦 十 房 dk 二》 BOdi (4.11) 
2 一 0 
其 中 Bl 80Ui= 01 ,5 一 2) 的 选择 要 满足 
diGdi =0, 1 =0,1 ,一 1 (4.192) 
时 人 
098 CCK_1 人 站 OK Cai 
一 一 一 0,1 .天 一 2. 4.13 
大 1 下 Cw 有 大 Gd 2 ) 一 ) 》 人 ) 


类 似 于 性 引 , 我 们 有 
0 一 9 = 一 GZ 一 0) 三 aiGdi =0)1 天 一 1 
及 
aiGadi = 一 gil 一 0 7 一 01 ,一 工 . (4.14) 
于 是 由 归纳 法 假设 可 得 


9 一 外 G4 外 (xl 一 昌 _ 
0 


于 是 , 第 有 步 的 搜索 方向 为 

















大 三 一 钛 十 记 -1dk-1， (4.15) 
其 中 了 -1 由 人 性.13) 确定 , 即 
页 
Cdk 1l 
全 4.16 
CU _1 1 ( ) 

















同时 有 必 gx = 一 多 9 这 样 性 外 和 确定 了 一 组 由 负 梯度 方 向 形成 
的 共 斩 方 向 , 而 把 沿 着 这 组 方向 进行 迭代 的 方法 称 之 为 共 斩 梯 度 法 . 
上 面 得 推导 实际 上 已 经 证 明了 下 述 结论 : 
定理 22 对 于 正定 二 次 函数 的 极 小 化 问题 性 . 耻 , 由 性 才 ， 和 
确定 搜索 方向 吸 并 采用 精确 线 搜 索 确 定 步 长 因子 ak 的 共 罗 方 向 法 ,至 多 尹 步 
选 代 即 可 求 得 问题 性 功 的 极 小 点 , 并 且 对 所 有 的 大 (1 入 大 交 7m)， 有 
以 Gdi; 一 0 1 一 01 ,大 一 1 
以 0 一 一 07 0i， 1 一 0,1)… ;大 














9K419 三 作 gd 一 0, 1 一 0,1 ,大 
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ee 点 , 需要 设法 消去 
中 的 矩阵 G. 由 定理 B3| 及 性 .14 

















ak _108 Gdk 1 一 9 (OK Op_1) 雪 0 01， 
ak idf 1Gdk 1 一 (一 95-1 十 DR adk_2)7 (OK 一 90-_1) 





二 
由 此 , (4.16) 可 化 为 
由 
-1 二 二 . (4.17) 
0 _19K 一 1 











下 面 我 们 给 出 共 斩 梯 度 法 求解 无 约束 优化 问题 极 小 点 的 算法 步骤 . 


0 给 定 和 迭代 精度 0 过 = < 锭 1 和 初始 点 Z0. 计算 m=VJzo). 令 有 :=0. 
1 车 |gk| < es, 停 算 , 输出 zz TD 
2 计算 搜索 方向 dk : 


JE 天 0， 
训 OK 
一 外 十 大-_1dk 1， 天 过 |， 


其 中 当天 1 时 ,，Bk -il 由 确定 ， 
步 3 利用 精确 线 搜索 方法 确定 搜索 步 长 ak. 
4 令 Zi 一 ZK 十 akpdh) 并 计算 gil 一 YAOzh+lD)， 
5 令 天 :一 大 十 1 转 步 ] 


和 汁 千 


注 公式 人 4.1? 是 由 Eletcher 和 Reeves 给 出 的 , 故 称 之 为 Fletcher-Reeves 公 
式 , 简称 FR. 2 、 算法 |1 [13 引 也 称 之 为 了 R. 共 斩 梯度 法 . 除 FR 公式 外 ， 尚 有 下 列 














卫 必 及 
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著名 公式 
了 
D， 一 (Dixon 公式 )， 
一 咏 驮 
一 0 (DaiYuan 公式 )， 


中 (9 二 OK) 


下 _ 
D， = OH1(9k+1l 9 (Crowder-Wolfe 公式 )， 


中 (ge+i = OK) 


人 
有 三 9Hltge+L 一 9 (Hesteness-Stiefel， HS 公式 )， 


坟 (9kH1 一 0) 


gpH1(98H1 一 儿 ) 
庆 总 于 呈 (Polak, RibiEre, Polyak，PRP 公式 ). 


97 9 ， 




















下 面 我 们 来 证 明 算法 中 的 收敛 性 定理 . 

定理 23 设 {fzk} 是 由 算法 [引产 生 的 序列 , 假定 函数 F(z) 一 阶 连续 可 微 且 
水 平 集 C(zo) = {z|jJ(z) < jzo)} 是 有 界 的 . 那么 算法 [L 引 或 者 有 限 步 终止 ， 或 
二 

证 不 失 一 般 性 , 不 妨 假设 {zk} 是 无 穷 序 列 . 此 时 有 g(zi) 夭 0. 因 汲 = 
一 外 十 Bi idk-1 故 有 











用 因 王 一 gc 虹 二 Bag 一 一 | 罗 村 < 0， 











即 叹 是 下 降 方向 . 从 而 由 精确 线 搜索 规则 可 知 ，{F(za)} 是 单调 下 降 的 ， 故 
{zki C C(zo). 于 是 {zk} 是 有 界 的 , 因而 必 有 聚 点 z, 即 存在 子 列 {fzkr :RE 天 1 } 
收 敏 到 盖 . 由 上 的 连续 性 , 有 











广 = 如 JoD= 作 加 zj= fc 


KE(E 开 1 ) 一 co E 开 1) 一 oo 





类 似 地 , {fzkfa:ReRAi 也 是 有 界 序列 , 故 存 在 子 列 {fzhi1:ReE Ko 收敛 到 地， 
这 里 K2 C Ki 是 无 穷 子 序列 . 于 是 可 得 


KU(EK2 ) 一 co E 开 2 ) 一 co 


故 有 





JE JJ 六 (4.18) 
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下 面 用 反 证 法 证 明 9g(z*) = 0.， 如 果 不 然 , 即 g(z?) 和 0, 则 对 于 充分 小 的 
aw > 0, 有 




















Fi 二 ad) < zz 
注意 到 , 对 任意 的 c > 0, 有 





jz = ze +akdk) 区 ze 十 adh)， 
对 于 KEe Ko C Fa, 令 8 一 co 对 上 式 取 极限 得 
ji) SC Tad)< zh) 
这 尼 式 矛盾 , 从 而 证 明了 9(z*) = 0. 证 毕 . 


若 在 算法 [加 中 采用 非 精 确 搜索 确定 步 长 因子 ax, 比如 Wolfe 准则 {109 和 
们 1, 则 利用 一 般 下 降 类 算法 的 全 局 收敛 性 定理 , 可 以 得 到 非 精 5 生 
梯度 法 的 收敛 性 定理 ， 


定理 24 设 {zk} 是 由 算法 [13| 利 用 Wolfe 准则 {2.1 中 -人 .1 埃 产生 的 序列 , 假 
定 孙 数 ) 一 阶 连 续 可 微 且 有 下 界 , 其 梯度 函数 g(zZ 5 、 Lipschitz 连续 ， 
即 存在 常数 二 > 0, 使 得 




























































































lg(w 一 go El 一 吉 ， Yu e 到 " 





若 选取 的 搜索 方向 思 与 -9 的 夹 角 大 满足 条 件 
7 克 
算 、 起 久 起 ] 一 
那么 算法 | 或 者 有 限 步 终止， 或 者 lim g(Zh) 一 0 


证 不 失 一 般 性 , 不 妨 假设 {zk} 是 无 穷 序 列 ， 由 Lipschitz 及 连续 条 件 和 
Wolfe 准则 式 得 





akzldkel > 中 [8(zz++akdt) 一 四 二 一 (一 o) 民 和 


= (一 9 中 ja 由 gll ecos 


有 





由 二 9) 


ok||dk|| > oz|l cos 0 


5 4 
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于 是 利用 上 式 及 Wolfe 准则 式 可 得 


jzZp) 一 ok 十 akdp) 
> 一 pak 驮 败 王 Paklldkllloxllcos 多 


工 一 和 
> p 人 了 glPeos 入 


一 9 


2 
> 全 二 一 lo 


sin2 人 





注意 到 /(z) 是 有 下 界 的 , 由 上 式 不 难 推 得 


> lg < +eo， 
K 一 0 


这 蕴含 了 当天 一 co 时 , 有 |g|| 一 0. 证 毕 . 



































4.3 ” 共 罗 梯 度 法 的 Matlab 程序 


在 共 斩 梯 度 法 的 实际 使 用 中 , 通常 在 迭代 7 步 或 见 +1 步 之 后 , 重新 取 负 梯 
度 方 向 作为 搜索 方向 , 我 们 称 之 为 再 开始 共 斩 梯 度 法 . 这 是 因为 对 于 一 般 非 二 次 
函数 而 言 , ” 步 迭 代 后 共 斩 梯 度 法 产生 的 搜索 方向 往往 不 再 具有 共 恩 性 . 而 对 于 
大 规模 问题 , 常常 每 m (m < 宛 或 风 < 多 m) 步 就 进行 再 开始 . 此 外 , 当 搜 索 方 向 不 
是 下 降 方 向 时 , 也 插入 负 梯 度 方向 作为 搜索 方向 . 

本 节 给 出 基于 Armijo 非 精确 线 搜索 的 再 开始 FR 共 斩 梯 度 法 的 Matlab 程 
序 . 


程序 7 (FER. 共 斩 梯 度 法 程序 ) 





























function [x,val,k]=frcg(fun,gfun,XO) 

% 功能 : 用 FR 共 斩 梯 度 法 求解 无 约束 问题 : min 工 (x) 

Y 输 入 : x0 是 初始 点 ，fun，gfun 分 别 是 目标 函数 和 梯度 

% 输 出 : x，val 分 别 是 近似 最 优点 和 最 优 值 ， 了 是 迭代 次 数 . 
maxKk=5000 ; % 最 大 迭代 次 数 

Tho=0.6;Sigma=0.4; 

















Kk=0;  ， epsilon=1e-4; 
Dn=Length(x0) ; 
While(k<maxK) 

g=feval(gfun,x0); % 计 算 梯 度 
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itern=k- (n+1)*floor(K/Cn+1l) ) ; 
Itern=itern+l 
% 计 算 搜索 方向 
if(itern==1) 
Q=-g; 
else 
beta=(g:*#g)/(g0 7:*#g0) ; 
dq=-g+betakd0; gdq=g#d; 


if(gd>=0.0) 
dq=-g; 
end 
end 
if(norm(g)<epsilon) ，break; end “检验 终止 条 件 
m=0 ; mK=0O ; 


while(m<20)  %Armijo 搜 索 
if(feval(fun,xO+rho>`mkd)<feval(fun,X0O)+SigmakTho “~mk 区 ? 冰 d) 
ImK=m;i break; 
end 
Im=m+1 ; 
end 
XO=XO+Tho ”>~mkK#d ; 
Val=feval(fun,Xx0O) ; 
g0O=g; qdq0=d; 
KK=K+1 ; 
end 
X=XO ; 


Val=feval(fun,Xx) ; 


例 14 利用 程序 四 求解 无 约束 优化 问题 





解 利用 程序 加 终止 准则 取 为 
果 如 下 表 . 





|YAzall < 10-4 取 不 同 的 初始 点 , 数值 结 


表 5.1 FR 共 斩 梯 度 法 的 数值 结果 . 
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初始 点 (zo) | 迭代 次 数 () | 目标 函数 值 (jzn)) 
(0,0 半 122 7.2372 x 10-? 
(0.5; 0.5) 44 3.5498 x 10-20 
(2.1 56 1.1698 x 10-s8 
(二 二 2 四 44 2.9396 x 10-? 
(一 1.2, 一 1)7 58 2.0235 x 10-? 
































说 明 上 述 程序 的 调用 方式 是 : 


XO=[-1.2 1] ，; 


由 上 表 可 以 看 出 , 阻尼 牛顿 法 的 收敛 速度 是 比较 令 人 满意 的 . 








[x,val,Kk]=frcg(:fun，gfun,XO) 


其 中 fan, gfun 分 别 是 求 目标 函数 值 及 其 梯度 的 M 函数 文件 . 


1. 证 明 向 量 aa = (1 0)7 和 as = (3, 一 2)7 关于 抢 阵 


共 斩 . 
2.， 给 定 和 矩阵 





习题 4 


试 关 于 和 抢 阵 4 和 已 各 求 出 一 组 共 斩 方 向 ， 











3.， 设 /z) = 5Z 7 十 以 和 ,其 


日 


4 2 
万 = 用 
2 4 


(1) 证明 : do = (10)7 与 di = (-12)7 关于 万 共 斩 ; 
(2) 以 zo = (0,0)7 为 初始 点 , go 和 d 为 搜索 方向 , 用 精确 线 搜索 求 三 的 极 小 点 . 








1 -1 0 
= 2 
0 0 3 


























k 力 梯度 法 的 MATLAB 程序 














os 


章 “ 共 斩 梯 度 法 
,Un E 下 ”线性 无 关 , cx 日 


昌 下 列 方式 产生 : 
































第 四 








F 定 阵 ， va …: 


4. 设 瑟 为 风 阶 了 
五 ai， 
人 





大 
1 十 























































































































dl 一 UL，Qk+1 三 WUK+1 一 2 区 
试 证 明 qi ,dn 关于 万 共 斩 . 
5. 设 妃 是 m 阶 具有 不 同 特征 值 的 对 称 正 定 矩 阵 , 证 明 互 的 不 同 特征 值 对 应 的 特征 向 
量 关于 互 是 共 恩 的 . 
6.， 用 共 斩 梯 度 法 求 下 列 函 数 的 极 小 点 : 
() jz) = 4 二 4z3 一 4zlz2 - 12z2， 取 初 始点 zo = (一 0.5, 1)7 
(2) jz)= 字 一 2ziza 十 222 十 23 一 Zazs 十 Z1 十 3zz 一 zs 取 初 始点 zo = (0,0,0)7. 
7. 设 克 是 ” 阶 对 称 正定 阵 , 非 零 向 量 dd …… ,qdn eE 取 "” 关 于 矩阵 万 共 斩 , 证 明 : 
5 二 dd 
O) 百 一 关 示 5 
E 定 阵 ， 令 可 量 Qi 为 : 





量 , 豆 是 m” 阶 对 称 ] 








1 一 1 (人 


本 
,DA E 下 ”为 一 组 线性 无 关 向 
大 一 1 




















8. 设 pi,pn 
PK， 
dk 一 辟 各 各 4， 一 2 
证 明 : di,do，… ,du 关于 互 共生 . 
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前 一 章 所 介绍 的 牛顿 法 的 优点 是 具有 二 阶 收 敛 速度 , 但 当 Hesse 阵 G(zk) = 
V2 zh) 不 正定 时 , 不 能 保证 所 产生 的 方向 是 目标 函数 在 x 处 的 下 降 方向 . 特别 


























地 , 当 G(zk) 奇异 时 , 算法 就 无 法 继续 进行 下 去 . 尽管 修正 牛顿 法 可 以 元 服 这 一 




















缺陷 , 但 其 中 的 修正 参数 必 的 选取 很 难 把 握 , 过 大 或 过 小 都 
此 外 , 牛顿 法 的 每 一 友 代 步 都 需要 目标 函数 的 二 阶 导 数 , 即 Hesee 





问题 其 计算 量 是 惊人 的 . 








本 章 即 将 介绍 的 拟 牛顿 法 克服 了 这 些 缺 点 , 并 且 在 一 定 条 


有 具有 较 快 的 收敛 速度 一 超 线 性 收 敛 速度 . 








5.1 拟 牛 顿 法 及 其 性 质 


拟 牛 顿 法 的 基本 思想 是 在 基本 牛顿 法 的 步 2 中 用 Hesee 阵 Gkr = V2 zh) 的 




















某 个 近似 窍 阵 及 取代 Gx. 通 第 , 及 应 具有 下 面 的 三 个 特点 : 
() 在 某 种 意义 下 有 球 盖 Gu 使 相应 的 算法 产生 的 方向 近似 于 牛顿 方向 ， 





























以 确保 算法 具有 较 快 的 收敛 速度 . 











人 、 导 人 
会 影 














啊 到 收 和 敛 速 度 . 
阵 , 对 于 大 规模 


件 下 这 类 算法 仍然 


(2) 对 所 有 的 忆 , 丽 是 对 称 正 定 的 , 从 而 使 得 算法 所 产生 的 方向 是 函数 了 在 








尼 开 处 下 降 方向 . 


(3) 和 天 阵 妃 : 更 新 规则 相对 比较 简单 , 即 通常 采用 一 个 秩 1 或 秩 2 天 阵 进行 








校正 . 
下 面 介绍 满足 这 三 个 特点 的 矩阵 及 的 构造 . 设 三 : 
上 二 次 连续 可 微 . 那么 , 三 在 zki+l 处 的 二 次 近似 模型 为 























R7” 一 





R 在 开 集 盖 C 

















民 忆 





让 二 


2 
对 上 式 求 导数 得 


9(Z) S gp 十 GOZ 一 ZEHI). 
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性 质 
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令 z= Zi 位 移 s =2Zp+l 一 2 梯度 差 风 = 三 gg 则 有 





CGKH1SK 己 以 ， 


注意 到 , 对 于 二 次 函数 废 上 式 是 精确 成 立 的 . 现在 , 我 们 要 求 在 拟 牛 顿 法 中 构造 
出 Hesse 阵 的 近似 和 窍 阵 肪 满足 这 种 关系 式 , 即 




















局 1SK 一 ZK (5.1) 


上 式 通 常 称 作 拟 牛顿 方程 或 拟 牛 顿 条 件 . 令 也 si = Bl, 则 得 到 拟 牛 顿 方 程 的 
另 一 个 形式 : 





HI 二 S6 (5.2) 


其 中 豆 1 是 Hesse 阵 逆 的 近似 . 搜索 方向 由 友 = 一 及 中 或 Br 三 一 or 确定. 
根据 页 (或 下 ) 的 第 三 个 特点 , 可 令 




















Bi = 大 十 有 = 有 十 Di (5.3) 


其 中 及 ,有 是 秩 1 或 秩 2 矩阵 , 通常 将 由 拟 牛 顿 方 程 悟 . 耻 (或 恒 . 引 ) 和 校正 规 
则 (63 下 所 确立 的 方法 称 为 拟 牛 顿 法 . 
， 1 校正 公式 . 0 ) 中 取 胁 = aukuwkg ( 秩 工 抵 
阵 ), 其 中 a e 到 ,wk E 到 ". 由 拟 牛 顿 方程 上 5. 落 得 


















































(B 十 QQLRLL) 5 一 21 
即 有 
Qe 人 (ts )a 一 从 一 瑟 5sk. (5.4) 


上 和 式 表 明 疝 量 作 平行 于 (和 - Bks, 即 存在 常数 8 使 得 由 = 8( 人 一 BksA). 
此 有 











一 G62( 估 已 ksk)(OK 和 甩 ksp)7 
于 是 , 由 必 .4 得 
aB2[( 和 一 Bksh)7 si( 人 一 Bhsk) 一 (大 一 Bksh). 
由 此 , 若 (由 一 Bksk)7sx 天 0, 可 取 aw82[(w 一 Bksk)7sk] = 1 即 


工 一 也 了 Ps NT 
QB2 一 1 万 一 ( 因 KRSR) (OA 有 SR) 
(外 一 有 sp) sk (一 BRSR)7SK 








. 60 . 








第 五 章 ” 拟 牛 顿 法 回 目录 85.1 拟 牛 顿 法 及 其 性 质 














故 得 对 称 秩 1 校正 公式 如 下 : 


(大 一 Bksp)( 人 一 Brsp)7 





Ba 有 (5.5) 
类 似 地 , 利用 拟 和 后 顿 方程 全 外， 对 如 ,进行 对 称 秩 1 修正 可 得 
呈 加 T 
所 三 就 拉 ( 呈 一 RV0s5 一 五 5 (5.6) 





(5 一刀 )TW 


有 了 对 称 秩 1 校正 公式 后 , 利用 它 可 以 构造 求解 无 约束 优化 问题 的 一 个 拟 牛 
顿 算法 , 步骤 如 下 : 





算法 14 (对 称 秩 1 算法 ) 

步 0 给 定 初始 点 Z0 E 限 ",， 终止 误差 0 和 = < 1. 初始 对 称 正 定 阵 (通常 
取 单 位 阵 厂 ). 令 大 := 0. 

步 1 车 | < es, 停工, 输出 zx 作为 近似 极 小 点 . 

步 2 计算 搜索 方向 中 = 一 太 Ok. 

步 3 用 线 搜 索 技术 求 步 长 ak 

步 4 令 2p = 大 十 ahdh 由 对 称 秩 工 校正 公式 确定 万 1 

步 5 令 上 := 大 十 1 转 步 1 














下 面 给 出 基于 Armijo 搜索 的 对 称 秩 1 算法 的 Matlab 程序 . 
程序 8 ( 对 称 秩 1 算法 程序 ) 


function [x,val,k]=srl(fun,gfun，xXO) 
% 功 能 : 用 对 称 秩 1 算 法 求解 无 约束 问题 : min f(x) 
% 输 入 : x0 是 初始 点 ，fun，gfun 分 别 是 目标 函数 及 其 梯度 
% 输 出 : x，val 分 别 是 近似 最 优点 和 最 优 值 ， 是 迭代 次 数 ， 
maxk=500; 《给 出 最 大 和 迭代 次 数 
Tho=0.55;Sigma=0.4; epsilon=1le-5; 
kk=0 ; Dn=Jength(x0) ; Hk=eye(Cn) ; 
While(Kk<maxK) 
gk=feval(gfun,x0); % 计 算 梯 度 
dk=-Hk*rgk; % 计 算 搜 索 方 向 
if (norm(gk)<epsilon) ，break; end 检验 终止 准则 
m=O0 ; mKk=0O ; 
while(m<20)  % 用 Armijo 搜 索 求 步 长 
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if(feval(fun,xO+rho>`mkdk)<feval(fun,X0O)+Sigmakrho>mkgk)?#dk) 
ImK=mm;i break; 
end 
Im=m+1 ; 
end 
X=XO+Tho>~mKkdK; 
SK=X-X0;  yk=feval(gfun,X)-EK; 
Hk=Hk+(sKk-Hk#yk)# (sk-Hkkyk) :/((sSKk-Hkxyk) +*yk) ; % 秩 1 校正 
K=K+T1 ; XO=; 


end 





Val=feval(fun,Xx0O) ; 


例 15 利用 程序 图 求解 无 约束 优化 问题 





min jz) = 100(z 一 zZ2)2 十 (z 一 1 7 一 (zzo)7 ee 妥 2. 











该 问题 有 精确 解 太 = (1 Hz =0. 





解 取 终止 准则 值 为 








Vjf(zal < 10-5, 利用 程序 园 取 不 同 的 初始 点 , 数值 结 






































果 如 下 表 . 
表 6.1 对 称 秩 工 校正 算法 的 数值 结果 . 
初始 点 (zo) | 友 代 次 数 ( 丰 ) | 目标 函数 值 (zh)) 
(0, 0 并 22 7.0304 xx 10 一 也 
(0.5; 0.5) 19 3.8208 x 10-16 
(2, 2)7 38 3.3992 x 10-20 
(-1 一 JJ)7 45 8.2927 x 10-16 
(1, 10)7 98 1.9321 x 10-16 
(10, 10)7 142 2.1578 x 10- 巧 

















说 明 上 述 程序 的 调用 方式 是 : 


XO=[-1.2 1]，; 
[x,val,k]=sr1('fun，gfun，,Xx0) 


其 中 fun, gfun 分 别 是 求 目标 函数 值 及 其 梯度 的 M 函数 文件 . 
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5.2 BEFGS 算法 及 其 Matlab 实现 


BEFGS 校正 是 目前 最 流行 也 是 最 有 效 的 拟 牛顿 校正 , 它 是 由 Broyden， 
Fletcher, Goldfarb 和 Shanno 在 1970 年 各 自 独 立 提出 的 拟 牛 顿 法 , 故 称 为 BFGS 
算法 . 其 基本 思想 是 : 在 中 取 修 正和 矩阵 及 为 秩 2 窃 阵 : 














下 全 
帮 一 QQURL 十 OURUK 
































其 中 几 w e BR" 是 待定 向 量 , a, 8 e 及 是 待定 实数 . 于 是 由 拟 牛 顿 方程 全 下 可 


(有 十 aukat 十 Bokuot)sk 一 从 


altskjt 十 Btsh 一 傣 一 BRsk. (5.7) 


不 难 发 现 , 满足 上 式 的 向 量 w 和 你 不 上 唯一, 可取 作 和 人 分 别 平行 于 Bksk 和 
Vi 即 令 好 =7Bkst 风 =bx, 其 中 轴 9 是 待定 的 参数 . 于 是 我 们 有 





























厂 一 aqy2Bksks7 十 DO020K 
将 的 表达 式 代 入 (5. 得 
等 wj， 了 了 得 
a[(7Bksp) shl(7Bkskb) 十 B[(0w) se)(0) = 网 一 Bksb， 


整理 得 





[a>y2(s7Bkst 十 HBks 十 [802(07s) 一 1 大 三 0. 


故此 , 可 令 ay2(sf BkstTT1=0 及 B02(078s) 一 1=0, 即 





1 1 
2 2 
am2 = 一 ，p662 = -一 
1 37 sk gs 


从 而 得 到 如 下 的 BFGS 秩 2 修正 公式 如 下 


BipskstBk 人 大 





区 (5.8) 


克 页 < 
3 局 RSK 2 SK 


显然 , 由 可 知 , 若 及 对 称 , 校正 后 的 Bl 也 对 称 , 并 且 可 以 证 明 BFGS 
术 正 公式 的 如 下 性 质 : 
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引 理 4 设 有 对 称 正定 ，Bkii 由 BEFGS 校正 公式 怕 . 引 确定 ,那么 Bi 对 
称 正 定 的 充 要 条 件 是 听 sk > 0. 





证 必要 性 是 显然 的 ， 因 双 s = sBilst 故 若 Bhtl 正定 , 则 显然 有 
zs > 0. 
下 面 证 明 充分 性 . 设 帮 sk > 0 且 到 正定 .由 校正 公式 恒 引 , 对 任意 的 
0 尖 de 及 ", 我 们 有 
































(dBks)? 十 (GZ 人) 


必 BId=dBid 一 . 
天 十 工 天 57 万 4s 7 中 


(5.9) 


刀 对 称 正 定 , 故 存 在 对 称 正 定 阵 万 72， 使 得 ， = 72BXY2 从 而 , 利用 
Cauchy-Schwarz 不 等 式 得 





(下 责 天 请 二 【BO 0 攻 过 | 再 类 本 加 六 二 人 
三 《有 BV2d)7 (2d (27(BV 2 


= (dBkd)(sBhsn) (5.10) 





不 难 发 现 , 上 式 成 立 等 式 的 充 要 条 件 是 存在 实数 六 夭 0, 使 得 BY2d = 闪 BY2sh， 
即 qd 一 TKSK， 
故而 , 若 不 等 式 司 .10) 严格 成 立 , 则 由 全.9) 得 
(C BkdjtskBksh) (Co 
5 DBksk 2 sk 


售 则 ， 若 15.10| 等 式 成 立 ， 即 存在 TK) 使 得 Qq 一 TKSK) 则 由 (5.9)， (5.10| 得 





d Bid 之 dBd 人 > 0. 


dB ld 本 (GZ 二 及 (sf 


2 人 























故 对 任意 的 de 了", dz 关 0, 总 有 dBhiid > 0. 证 毕 . 

上 面 的 引 理 表明 , 若 初始 矩阵 Bu 对 称 正定 且 在 迭代 过 程 中 保持 由 sk > 
0,YK> 过 0, 则 由 BEFGS 校正 公式 产生 的 矩阵 序列 {Bx} 是 对 称 正定 的 . 从 而 方程 
组 Bkd = --0 有 唯一 解 必 , 且 雄 是 函数 上 在 六 处 的 下 降 方 癌 . 
































引 理 5 若 在 BFGS 算法 中 采用 精确 线 搜索 或 Wolfe 搜索 准则 , 则 有 Jsx > 
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证 注意 到 对 于 精确 线 搜索 有 9 如 1dk = 0. 故 





2 s 一 Qk(Ok+1 一 多 并 人 王 一 Qk98 Gd > (0. 


对 于 Wolfe 搜索 准则 , 利用 该 准则 的 第 二 个 不 等 式 ( 即 VJzk 二 akdh)7dk > 
岂 4M 昌 
ogg dk), 得 


ak 人 (gel 一 gid 之 ax(a 一 1)98 dx 


人 
ZN SK 


= -ak(1 一 ojotadu > 0. 

















证 毕 . 

已 有 证 明 表 示 , Armijo 搜索 准则 一 般 不 能 保证 内 sx > 0. 但 Armijo 准则 因 
其 简单 且 易 于 程序 实现 而 深 得 人 们 的 喜爱 , 因此 , 为 了 保证 采用 Armijo 准则 时 和 托 
阵 序 列 {B} 的 对 称 正定 性 , 可 采用 如 下 的 校正 方式 























局 1 若 2 SR 忒 0， 


已 至 5.11 
本 skSs8 BA oO 人 ) 


5 Pksk 2 sk 
不 难 发 现 , 只 要 Bo 对 称 正 定 , 上 述 校正 公式 可 以 保证 矩阵 序列 {BA} 的 对 称 正 定 
性 . 下 面 给 出 基于 Armijo 搜索 准则 的 BFGS 算法 的 详细 步骤 . 





， 若 由 ss > 0. 




















算法 15 (BFG'S 算法 ) 

步 0 给 定 参数 be (0,1, ae(0,0.5)， 初 始点 Zo E 取 "， 终止 误差 0 = 妨 1 
初始 对 称 正 定 阵 Bo (通常 取 为 G(zZo) 或 单位 阵 万 ). 令 天 := 0. 

步 1 计算 网 王立 Jza. 若 |‖ gr < es, 停 算 ,输出 zx 作为 近似 极 小 点 . 

步 2 解 线性 方程 组 得 解 羽 : 














步 3 设 7nx 是 满足 下 列 不 等 式 的 最 小 非 负 整 数 7m; 
(2 十 0”dp) 抒 大 (CDP) 十 abmgL cd. (5.13) 


令 咪 三 078， ZEH 二 2 十 Qkdk. 
步 4 由 校正 公式 (5.11) 确定 Bk+1. 
步 5 令 天 :一天 十 1 转 步 1 
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下 面 给 出 基于 Armijo 搜索 的 BFGS 算法 的 Matlab 程序 . 
程序 9 (BFGS 算法 程序 ) 

function [x,val,k]=bfgs(fun,gfun,Xx0o,varargin) 

% 功 能 : 用 BFGS 算 法 求解 无 约束 问题 : min 节 (x) 

% 输 入 : x0 是 初始 点 ，fun，gfun 分 别 是 目标 函数 及 其 梯度 ; 

% varargin 是 输入 的 可 变 参 数 变量 ， 简 单调 用 bfgs 时 可 以 灸 略 它 ， 


% 但 若 其 它 程序 循环 调用 该 程序 时 将 发 挥 重 要 的 作 肝 












































% 输 出 : 工 ，Vval 分 别 是 近似 最 优点 和 最 优 值 ，K 是 迭代 次 数 ， 
maxk=500;  % 给 出 最 大 迭代 次 数 
rho=0.55;sigma=0.4; epsilon=le-5; 


K=0 





5 Dn=JIength(xO) ; 


Bk=eye(n) ; AMBK=feval(?Hess),X0) ; 
While(Kk<maxkK) 


end 


Val 


gk=feval(gfun,X0,varargin{f: 上 ) ; % 计 算 梯 度 

if (norm(gk)<epsilon) ，break; end 《检验 终止 准则 
dk=-BkNgk; % 解 方程 组 ， 计 算 搜 索 方 向 

m=0 ; mK=0O ; 

while(m<20)  % 用 Armijo 搜 索 求 步 长 


newf=feval(fun,XxO+rho`mkdk ,varargin{t: 上 ) ; 














oldf=feval(fun,Xx0,vararginf :了 ) ; 
if(newf<oldf+sigmakTrho>m#kgk)?#dqK) 
ImK=m;i break; 

end 

Im=m+1 ; 
end 
%BFGS 校 正 
X=XO+Tho ”~mKkdkK ; 
SK=X-X0;  yk=feval(gfun,x,Varargin{t:j)-gk; 
if(yK2*kSK>O) 





BK=BKk- (BKk#kSKkSK BK) /(SK ?7#BKkSK)+(yKkyk72)/(C7K2SK) ; 


end 
K=K+T1 ; XO=; 


=feval(fun,x0,varargin{t: 上) ; 


例 16 利用 程序 团 求 解 无 约束 优化 问题 


min jz) = 100(z2 一 za) 十 (zi 一 1 了 一 (zzo)7 ec 了 2 
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该 问题 有 精确 解 z = (1 1) 2) = 0. 





解 取 终 止 准则 值 为 |V.(zn)l| < 10-5, 利用 程序 四 取 不 同 的 初始 点 , 数值 结 
果 如 下 表 . 


表 6.2 BFGS 校正 算法 的 数值 结 






































初始 点 (zo) | 和 友 代 次 数 ( 丰 | 目标 函数 值 (/zn)) 
(0;,0 并 20 2.2005 x 10- 世 
(0.5; 0.5) 工 15 1.946 x 10-I5 
(2, 2)7 24 2.1171 x 10- 瑟 
(一 1 一 1)7 31 1.3594 x 10-12 
(1, 10) 36 1.3757 X 10- 巧 
(10, 10)7 66 6.3531 x 10- 瑟 
(一 1.2,1) 并 32 6.7539 x 10-16 




















从 上 表 可 以 看 出 , BFGS 算法 比 对 称 秩 1 算法 更 为 有 效 . 





5.3 DEFP 算法 及 其 Matlab 实现 


DEFP 校正 是 第 一 个 拟 牛 顿 校正 , 是 1959 年 由 Davidon 提出 的 , 后 经 Fletcher 
和 Powell 解释 和 改进 , 故 名 之 为 DFP 算法 , 它 也 是 求解 无 约束 优化 问题 最 有 效 
的 算法 之 一 . 类 似 于 BFGS 校正 公式 的 推导 , 可 得 DFP 校正 公式 如 下 : 
































局 ED 5557 
WEBROR 540 





刀 1= 肪 - (5.14) 








同样 , 不 难 发 现 , 由 刁 .14, 铬 及 对 称 , 校正 后 的 碎 9 也 对 称 , 并 且 类 似 于 
引 理 国 的 证 明 , 可 得 DFP 校正 公式 的 如 下 性 质 : 









































引 理 6 设 砚 对 称 正定 ,Bi 由 DEFP 校正 公 趟 (5.14) 确定 ,那么 百 i+1 对 
称 正 定 的 充 要 条 件 是 stok > 0. 











类 似 于 引 理 回 可 以 证 明 , 当 采 用 精确 线 搜索 或 Wolfe 搜索 准则 时 , 矩阵 序列 
{Bs} 的 正定 性 条 件 sgw > 0 可 以 被 满足 . 但 一 般 来 说 , Armijo 搜索 准备 不 能 满 
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足 这 一 条 件 , 需要 作 如 下 修正 : 


万， 藻 sf 人 区 0， 


1 一 VE sk5sf 下 


)》 右 ZX 3 将 0. 
oOA 57 


下 面 给 出 基于 Armijo 搜索 准则 的 DFP 算法 的 详细 步 又. 


1 








算法 16 (DEFP 算法 ) 

步 0 给 定 参 数 0 E (0,1)j, ae (0,0.5)， 初 始点 Zo E 下"， 终止 误差 0< < < 娘 1. 
初始 对 称 正定 阵 万 (通常 取 为 G(zo)-1 或 单位 阵 万 ). 令 天 := 0. 

步 1 计算 由 =VJzi. 车 < es, 停 算 ,输出 o2 作为 近似 极 小 点 . 

步 2 计算 搜索 方向 : 





步 3 设 mk 是 满足 下 列 不 等 式 的 最 小 非 负 整数 77: 


令 Q 一 0 ， ZK1 一 2K 十 QQK. 


步 4 由 校正 公式 全 .15 确定 瓦 1 
步 5 令 天 := 天 十 1 转 步 1 





下 面 给 出 基于 Armijo 搜索 的 DFP 算法 的 Matlab 程序 . 
程序 10 (DEFP 算法 程序 ) 


function [x,val,k]=dfp(fun,gfun,xO) 
% 功 能 : 用 DFP 算 法 求解 无 约束 问题 : min f(x) 
% 输 入 : x0 是 初始 点 ，fun，gfun 分 别 是 目标 函数 及 其 梯度 
% 输 出 : x，val 分 别 是 近似 最 优点 和 最 优 值 ，k 是 迭代 次 数 ， 
maxk=1e5; Y% 给 出 最 大 和 迭代 次 数 
rho=0.55;sigma=0.4; epsilon=le-5; 
K=0 ; D=]1ength(Xx0) ; 
Hk=inv(feval()Hess，,Xx0O) ) ; AHKk=eye (Da) ; 
While(Kk<maxK) 

gKk=feval(gfun,x0); % 计 算 梯 度 

if (norm(gKk)<epsilon) ，break; end 检验 终止 准则 
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QqK=-HkkgkK ; 
m=0O; mK=0O ; 
while(m<20) 
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% 解 方程 组 ， 计 算 搜 索 方 向 


% 用 Armijo 搜 索 求 步 长 


if(feval(fun,XO+rho`mkdk)<feval(fun,Xx0)+SigmakTrho>~mkgK?dk) 


ImKX=m;i break; 
end 
Im=m+1T1 ; 
end 
YXDFP 校 正 


X=XO+Tho”~mKzkdK ; 





SKX=X-XO ; 


if(sk:#xyk>0) 


yk=feval(gfun ,X)-EK; 


HKk=HK- (HKk#kyKkyK 7?#HK) /VCYK 72?#HK#kyK)+(SKkSK2)/CSK72yK) ; 


end 
K=K+T ; XO=; 
end 


Val=feval(fun,Xx0O) ; 


例 17 利用 程序 上 LO 求解 无 约束 优化 问题 


min jz) = 一 100(z 一 za) 二 (一 1 7 一 (zz e 


该 问题 有 精确 解 习 = (1,1)7， jz = 0. 


解 取 终 止 准 则 值 为 






































结果 如 下 表 . 
表 6.3 DEFP 校正 算法 的 数值 结 
初始 点 (zo) | 友 代 次 数 (f) | 目标 函数 值 ( /zh)) 
(0; 0 并 23 9.4910 x 10-16 
(0.5; 0.5) 工 19 1.5488 x 10- 瑟 
(2, 2)7 22 4.0247 x 10- 了 1 
(一 1 一 1 并 35 2.2338 x 10-12 
(1, 10)7 1 0 
(10, 10 并 77 8.6152 x 10-20 
(一 1.2, 1)T 34 3.0415 x 10-14 




















从 上 表 可 以 看 出 , DFP 算法 的 计算 效率 似乎 不 如 BFGS 算法 
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Vj(zall < 10-5, 利用 程序 [gl 取 不 同 的 初始 点 , 数值 
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5.4 Broyden 族 算法 及 其 Matlab 实现 


前 面 我 们 讨论 了 BFGS 和 DEFP 校正 , 它们 都 是 由 多 和 有 sx (或 ss 和 丽 o) 
组 成 的 秩 2 校正 . 本 节 讨 论 由 BFGS 和 DEFP 校正 的 凸 组 合 产生 的 一 类 校正 族 


BT 一 和 BR 二 (1 一 由) 感 BT (5.18) 


加 Bhsksf Bk WO 





一 已 十 OK ， (5.19) 


元 元 
SK .DBKSK 3 大 2 


其 中 色 为 实 参数 , 由 由 下 式 定 义 : 


万 5 
过 人 me 克 2 5.20 
( 装 57 忆 sk 人 


这 类 校正 公式 称 为 Broyden 族 . 不 难 发 现 , 在 中 , 当 刀 =0, 即 得 到 BEFGS 
公式 ; 当 刀 = 1 即 得 到 DEFP 公式 . 
对 应 地 , 关于 瓦 ' 的 Broyden 族 校正 公式 为 























峭 
LE1 


各 刀 BTS 十 (1 一 各) 万 R (5.21) 


及 多 由 硕 sk 驮 


4 
2 5 





十 办 RU ， (5.22) 


克 
三 4 福音 | 5.23 


可 以 证 明 参 数 氮 与 蚁 之 间 的 关系 为 




















工 一 加 (1 一 Hp 0 
其 中 
(全 有 SN 及) 
| Go 





不 难 发 现 巡 s = 0 和 ?wz = 0, 因此 Broyden 族 和 给 出 的 校 
正 公式 于 任何 参数 妈 和 央 都 满足 拟 牛 顿 方程 和 匡 钞 . 
下 面 我 们 给 出 Broyden 族 校正 公式 的 两 个 性 质 . 
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定理 25 用 Broyden 族 算 法 求解 极 小 化 二 次 目标 函数 问题 
| 
Imin 帮 Z) 二 5 Gz 十 并 2 十 c. (5.25) 


若 果 初始 矩阵 媚 是 正定 的 , 算法 所 产生 的 和 迭代 点 列 是 互 异 的 则 
(1) 当 姑 s>0 且 加 >0 或 包 >0 时 ,Broyden 族 校 正 公式 保持 正定 性 . 
(2) 算法 所 产生 的 搜索 方向 do,di ,dk(E 芭 风 .一 1) 满足 
(al) dzGdi =0,0<i<7T<1 (bjPtyp =s0<i< 天 一 1. 








证 对 大 用 归纳 法 . 注意 到 3i 一 计 1 一 一 Q5Q;， Ji 三 0i+1L 一 4 一 GZiH1 一 Zi) 一 
Gsi. 那么 , 当 大 = 1 时 , 由 拟 牛 顿 方程 可 知 


到 网 专 而 


成 立 , 且 有 





1 
必 Gd = (Gdod = 一 二 (Gso) 9 
0 


| 
= 一 一 多 研 9 = 一 一 59 
Q0 Q0 


一 一 吧 91 一 0， 





即 天 =1L 时 结论 成 立 . 
设 大 = 7/ 时 结论 成 立 , 要 证 大 = 1 十 1 时 结论 也 成 立 . 由 归纳 法 假设 有 























凡人 二 全 有 (5.26) 
当天 = 1 十 1 时 ,对 于 0<;i< /一 1 我们 有 


万 87TB2 ss7 
(用 -2 
/ 已 人 31 从 








从 
娓 10 


古 poigFBY sis7o 











= 一 一 十 guiozuy 
gr st 0 
万 9 了 S; 515771 
本 [他 有 0 
Vi 芯 多 3 俯 
万 9 57 Gas; 5157 G'si 
一 53; 一 人 四 ) 末 三 和 十 guiui g 
/i 也 久 51 久 
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由 si = aid 和 伍 28 的 第 一 式 可 知 , 上 式 等 式 右边 的 第 二 、 三 两 项 为 0. 下 面 考 


虑 第 三 项 . 注意 到 





























bb 二 本 ( 31 古 wy ) 儿 51 刀 wy )， 
”mLiLI Li 一 站 本 2 
(到 到 几 ) 多 5 多 丽 g 八 郧 5 灵 丰 W 
四 
( 叶 5” 人 ( 光 忆 的 ( 娩 大风 sc 
sl(s7Gsi 厅 8wio7 si 5S101 si 厅 9wr(s7Gsi) 
(狼人 Cs 人 
加 By(szrGsi) stlsrGs) 
(多 有 8 (OZEs0( 
故 有 
Bi =s 0<i<1 一 1 (5.27) 
又 因为 拟 牛 顿 方程 刀 8 ,yw = 8 满足 , 所 以 人 5.27) 对 于 0 <i < 成立， 
下 面 证 明 
必 Gdij=0， 0<i< 了 XI 二 1. (5.28) 








由 归纳 法 假设 全 .26, 只 需 证 明 对 于 0<z < ! 成立 





汪 训 三 丰 
事实 上 ， 
及 GUI 二 (Gd 由 = =- 巡 ( 一 开 aon 
二 -二 sg = 一 必 9gH1 











因此 , 对 于 有 = /十 1, 结论 成 立 . 


本 
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推论 2 在 定理 5 的 条 件 下 , 有 如 下 结论 : 

(1) Broyden 族 校 正 公 式 至 多 迁 代 ) 次 就 可 以 达到 极 小 点 f， 即 存在 
8 (0 区 天 区 由) 使 得 or = 2 

(2) 车 伏天 2 0 区 大 区 见 一 1 则 万 = GT 














证 由 定理 P3 可 知 ,Broyden 族 校 正 算法 是 一 种 共 斩 方 向 法 , 故 结论 (1) 成 
、/_. 

若 似 夭 人 0 区 天 区 兄 一 1 则 Broyden 族 校正 公式 产生 个 共 恩 方向 
do, di ,dr 1， 因而 它们 是 线性 无 关 的 ， 从 而 5S0) S1)……… )， Sn 一 1 也 是 线性 无 关 的 . 
又 由 定理 多 引得 





万 ,Gasi 三 万 人 三 Si 三 0 ) 即 一 十， 


印 


瓦 ,G[so, sl ,sn = [so ssm 1. 
因 和 气 阵 [so, s ,si] 非 奇异 , 故 有 玉 ,G = 即 卫 , = G-1. 证 毕 . 


下 面 给 出 基于 Armijo 搜索 准则 的 Broyden 族 算法 的 详细 步 又 . 


























算法 17 (Broyden 族 算法 ) 

步 0 给 定 参数 be(0,1), ce(00.5)0E [0,1] .初始 点 zo E 了 "终止 误差 
0 和 = 近 1. 初始 对 称 正定 阵 媚 (通常 取 为 G(zo)-1 或 单位 阵 厂 ). 令 大 := 0. 

步 1 计算 由 =VJ(zi. 车 上 gl < es, 停工 ,输出 of 作为 近似 极 小 点 . 

步 2 计算 搜索 方向 ; 





步 3 设 7nx 是 满足 下 列 不 等 式 的 最 小 非 负 整数 7; 


令 ak 一 07 ， ZL 一 2 十 QKGQK. 
步 4 由 下 面 的 校正 公式 确定 甩  : 


ZK， 若 sf 区 0， 
工 (5.31) 


万 RUROZ SF 克 全 
一 十 dokuUt， 若 fs > 0. 
oO 37 


LA+1 二 





天 
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5 KW 
VE 二 人 V/ An 人 了 | 
“ 2 3 08 


步 5 令 大 :一 大 十 1 转 步 工 





下 面 给 出 基于 Armijo 搜索 的 Broyden 族 算法 的 Matlab 程序 . 
程序 11 ( Broyden 族 算法 程序 ) 


function [x,val,Kk]=broyden(fun,gfun,XO) 
% 功 能 : 用 Broyden 族 算法 求解 无 约束 问题 : min f(x) 
Y% 输 入 : x0 是 初始 点 ，fun，gfun 分 别 是 目标 函数 及 其 梯度 
% 输 出 : xy,val 分 别 是 近似 最 优点 和 最 优 值 ， 是 迭代 次 数 ， 
maxk=1le5;  VY% 给 出 最 大 迭代 次 数 
rho=0.55;Sigma=0.4; epsilon=1le-5 ; 
phi=0.5; k=0; D=length(x0) ; 
Hk=inv(feval(?Hess，,Xx0O) ) ; AHKk=eye (na) ; 
While(k<maxK) 
gk=feval(gfun,x0) ; 4 计算 梯 度 
if (norm(gk)<epsilon) ，break; end 《YY 检 验 终止 准则 
dk=-Hk*rgk; % 解 方程 组 ， 计 算 搜 索 方 向 
m=0 ; mK=O ; 
while(m<20)  % 用 Armijo 搜 索 求 步 长 
if(feval(fun,XxO+rho>`mkdk)<feval(fun,x0)+Sigmakrho>mkEgK2?kdK) 



































ImK=Im;i break; 
end 
m=m+1 ; 

end 
%Broyden 族 校正 


X=XO+ITho>~mKkdK ; 





SK=X-X0;  yk=feval(gfun,Xx)-EK; 
Hy=HkkyKk;i Sy=SK?#kyK;i  yHy=yK?#HK#kyK; 
if(sy<0.2*+yHy) 
theta=0.8+yHy/(yHy-sy) ; 
SK=thetakSKk+(1-theta)*Hy ; 
Sy=0 .2#kyHy ; 


end 
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Vk=sqrt(yHy)*(sSK/Sy - Hy/yHy) ; 
HK=HKk- (Hy*Hy?)V/yHy+(SKkSK?)/SYy+PhikVKkVK  ; 
=K+1T;  XO=X; 

end 


Val=feval(fun,Xx0O) ; 


例 18 利用 程序 [H 岂 求解 无 约束 优化 问题 





min jzZ) = 100( 好 一 Z2)2 十 (一 1 和 =(2zo)7E 了 及 2 











该 问题 有 精确 解 六 = (1 1 2”) = 0 


解 取 终 耻 准 则 值 为 ‖V za < 10-5， 利用 程序 [1 取 不 同 的 初始 点 , 数值 
结果 如 下 表 . 





表 6.4 Broyden 族 校正 算法 的 数值 结 



































初始 点 (zo) | 返 代 次 数 (让 | 目标 函数 值 (/zn)) 
(0;, 0 并 23 9.4910 x 10-16 
(0.5; 0.5) 工 19 1.5488 x 10- 瑟 
(2, 2)7 22 4.0247 x 10- 了 1 
(一 1 一 1 并 35 2.2338 x 10-12 
(1, 10) 1 0 
(10, 10) 77 8.6152 x 10-20 
(三 工 放 妈 7 34 3.0415 x 10- 芒 
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本 节 讨 论 拟 牛顿 法 的 收敛 性 , 主要 给 出 基于 非 精 确 线 搜索 的 BFGS 算法 的 全 
局 收敛 性 和 局 部 超 线性 收敛 性 定理 . 为 了 方便 , 我 们 将 BFGS 算法 的 迭代 公式 复 
述 如 下 : 



































必 K1 一 KK 一 akB5 Oh， (5.32) 


Bksksf Bk 从 大 





Bi 一 有 奈 一 45.33) 


加 大 
SBKSK 2/8 SR 


其 中 , s = ZpH 一 Zi 大 二 gt 一 9 ax 由 非 精确 线 搜索 方法 得 到 . 在 讨论 收 钱 
性 之 前 , 我 们 先 给 出 如 下 假设 条 件 . 














区 45 
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假设 1 (1) 函数 f(z) 在 了"” 上 二 阶 连 续 可 微 ， 
(2) 水 平 集 




















C(zo) = {ZE 了 | AZ)S 7zo))} 
是 西 集 , 且 函 数 六 在 Clzo) 上 一 致 凸 , 即 存在 常数 0 < m < M, 使 得 





md < ozG(zd < dl2. (5.34 


(3) 存在 zr 的 一 个 邻 域 N(z*,6), 使 得 G(z) = V2j(z) 在 该 邻 域内 Lipschitz 
连续 , 即 存在 常数 了 荆 > 0, 使 得 


1c 一 GZ 咱 和 zz 一 天 ，YzENz 9) 








在 后 面 的 分 析 中 我 们 需要 用 到 一 个 求 秩 2 校正 矩阵 行列 式 的 公式 , 先 把 它 来 
写 在 下 面 以 方便 使 用 : 








det(T 十 woltz 十 Wasud1) = (1 +aofao)(L 二 agoa) 一 (ofaoaj(uzts)， (5.35) 
这 里 ws (= 1 … ,4 是 任意 的 m 维 向 量 . 
我 们 有 下 面 的 全 局 收敛 性 定理 . 


定理 26 设 {BX} 是 由 BFGS 校正 公式 产生 的 非 奇 异 矩 阵 序 列 ，atk 
为 满足 Armijjo 准则 的 步 长 . 若 jz) 满足 假设 同 (1) 和 (2). 那么 由 迭代 公 
吉 产生 的 序列 {zh} 全 局 收 敏 到 jz) 的 极 小 点 z. 

证 根据 Armijo 准则 下 的 线 搜索 法 的 收敛 定理 上 我 们 只 需 验证 搜索 方向 
必 与 负 梯 度 方向 -gx 的 来 角 pk 满足 条 件 必 .1 中 , 即 0<b < 了 -us(o3) 
注意 到 





























coS 和 一 一 咏 角 一 S (DBksb) . 
cellleel sglBasal 


由 多 的 定义 ， 可 得 














1 
MK 二 9k+Ll 一 9 一 | C@(2Z 十 T55)5skdT， (5.36) 
0 


故 有 





1 
2 SA SG(ZK 十 TSk)skd7. 
0 
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利用 假设 四 (2) 可 得 


天 中 富 skl2， 即 wx 





由 恒 .-36) 得 


证 下 
国民 1 | 1 ledes+rsolar 

















不 难 发 现 , 由 假设 目 (2) 有 
drG(z)d 
max |G(z)| = max 中 < 1 
ZEC(z0) ZEC(Zo) dz0 |dgl 


因此 由 是 .38) 可 推 得 wk 和 ls 结合 ), 我 们 有 


2 邑 2 
国 风 





人 | 











及 艾 挟 会 0. 
大 5 sk 7 
对 BFGS 公式 
DBpSskS8DBR OO 
DikHl = 太一 

5 PS 2/7 SA 

两 边 求 迹 得 ， 

| Bkskl ol 


tr( BT) 一 tr( 忆 1 一 





5 页 
二 RSK USK 








为 了 便于 应 用 公式 全.3 趾 , 我 们 将 BFGS 校正 公式 写成 如 下 形式 : 





人 下 
K 二 1 kbLL 十 3 


兴 


利用 公式 位 到 得 


了 
det( Buil) = 一 det(Bh) (ai 4) 一 det ( 瑟 0) 元 且 和 





记 
人 入 5 刀 RSK 
1 三 一 一 
上 se 


则 








Buskl2 llskllLBkselN 红 Bess ex 
57 甩 SR 5 局 1 |skll2 cos205 


1 
sk (5 十 | 二 一 Bag 史 ) 
SK UK 


(5.37) 


(5.38) 


(5.39) 


(5.40) 


(5.41) 
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于 是 由 恒 40 有 


全 马 
det(Beh) det(B 蕉 二 -det(B) 侍 (5.49) 

















关于 对 称 正 定 矩 阵 , 定义 函数 








%(B) = tr(B) -Infdet(B)， 
则 有 %( 3) > 0. 事实 上 , 设 0< 和 Xi 和 X<:…<Xn 为 恕 的 特征 值 , 则 
dg) = tr(B) 一 In(det( 已 )) 


>》 Xi 一 In(XiXa 和》n) 


= > (NM >0 
由 恒 39, 全 4 耻 和 全 4 得 


OUBkH = tLBki 一 mdet(CLBk)) 


| Bksk| | OK 
一 ft( 忆 一 十 一 且 (det 已 全 
人 则 2 SS 人 昌 CK 





一 0(Bp) 十 es 一 本 CQK 一 1) 


(CC CK 2 
(本 1 一 人 ln cos260 
CoS2 0 COS2 0 ER 


< dB 二 Ta 二 lncos2 0 





上 式 的 最 后 一 个 不 等 式 利 用 了 函数 人 =1-t+mnt 在 区 间 (0,co) 上 的 非 正 性 
及 中 > 由 和 及 芝 0 且 正 常数 cc > 一 mm 一 1> 基 一 mw 一 1 于 是 有 





0< oOBhDER go)+a(E 二 1T) + cos2 0 (5.43) 














下 面 证 明 数 列 {cosb 力 0(F 一 cc). 用 反 证 法 . 若 结论 不 成 立 , 则 对 上 述 的 
常数 ! > 0, 存在 6 > 0 使 得 对 所 有 的 上 > 5o, 有 














ln cos2 0 < 一 20. 


第 五 章 ” 拟 牛 顿 法 回 目录 85.5 拟 牛顿 法 的 收敛 性 





由 全 到 和 


0 < OLDBkH) 
芭 天 丽 ) 下 吉大 二 和 十 入 
4(Bo) +a(g 二 DT 二 人 


2 一 0 


| 和 人 


ko-1 
一 0 人 (Bo) 十 >， ln cos2 0 十 
记 0 
ko-1 
一 0(Bo) 十 光 ln cos2 0; 十 


2 一 0 











天 
ln cos2 0; 十 >， ln cos2 0; 
i 一 1 
天 
ln cos2 0 十 >》 (-2c) 


i 一 io 


xlE+T 一 2c(E 一 各 二 1 


2ak0 一 Ia(E 十 1) 一 一 co，(k 一 co)， 


币 盾 . 这 样 便 存 在 {zk} 的 无 穷 子 列 {zkjkex 和 数 6 > 0, 使 得 对 所 有 的 大 E 天 ， 








有 cos 所 > 6. 于 是 类 似 于 定理 |11| 的 说 





在 水 平 集 上 是 严格 凸 的 , 其 稳定 点 与 全 局 极 小 点 是 一 致 的 也 是 唯一 的 , 这 样 便 
推 得 整个 序列 {zk} 收敛 到 帮 z) 的 全 局 极 小 点 六 证 毕 . 








F 明 过 程 , 可 以 推出 {gxlljuex 一 0. 因 /z) 























下 面 我 们 给 出 拟 牛 顿 法 超 线 性 收敛 的 一 个 充分 必要 条 件 . 
定理 27 设 /(z) 满足 假设 仲 {Bk} 是 非 奇 异 的 矩阵 序列 . 若 选 代 公式 


ZK+L 二 RE 一 














万 1gN， 20 生 R” (5.44) 


产生 的 无 穷 序列 Tzh} 收 伊 于 ffz) 的 稳定 点 巡 , 则 {zh} 超 线性 收敛 到 zz 的 充 


分 必要 条 件 是 


lim 


IIB 一 Gel 





下 一 co 


其 中 加 王 TH 一 2 GZ 一 V2AM 


0， (5.45) 
炙 亿 


). 





证 设 牛顿 步 为 必 = -Gilg. 首先 证 明 刁 .45 等 价 于 


上 鸭 一 人 四 | =o(lael)， 45.46) 
事实 上 , 若 位 二 式 成 立 , 则 
上 罗 一 驮 | = 1GRIGedks 9 
= |GRG 一 Be slGE 人 Ge 一 2 


< CUIG Gel+lGG -Bcl 


= o(wx. 
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反之 , 若 式 成 立 , 注意 到 |Gx|| 是 有 界 的 , 故 有 
1Gx( 一 仆 ) 川 =o(leel). 
由 Gxdt = 一 由 三 Bhadk 我 们 有 


CR 一 Bidt = oflas 人 





由 上 式 及 G(z) 的 连续 性 即 可 推 得 位 型 式 成 立 . 
注意 到 牛顿 法 的 二 阶 收 全 性 结果 








上 站 十 本 一 oE Cl 一 玫 归 ， 
我 们 有 
| 区 十 四 一 妇 | 


藉 
和 | 区 十 居 一 妇 上 二 克 一 改 | 
< Cllmx 一 人 上 仁 二 olexl) 


eel 一 | 一 开 | 


由 此 可 得 |‖dx| = Old 区 一 他 机 再 代入 上 式 即 得 


| 区 十 克 一 好 | =o(l 交 一 天 用. 








至 此 已 经 完成 了 定理 的 证 明 . 


最 后 , 我 们 不 加 证 明 地 列 出 BFGS 算法 的 局 部 超 线性 收敛 定理 , 其 详细 的 证 
明 过 程 可 参阅 文献 [四 



































定理 28 设 f(z) 满足 假设 四 zo 和 Bo 为 任意 给 定 的 初始 点 和 初始 正定 对 
称 矩 阵 ，{zZk} 是 由 BFGS 算法 产生 的 选 代 序列 且 收 伊 于 假设 趾 (3) 中 的 z*. 那 
“本 


oo 
天 三 1 


则 {zk} 局 部 超 线性 收 敏 于 zr. 
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1.， 设 用 DEFP 算法 求解 问题 的 过 程 中 , 有 





计算 万 +1. 
2. 用 DEFP 算法 求解 min ftz) = 好 二 3z2, 取 初 始点 和 初始 矩阵 为 


(人 


3. 用 BFGS 算法 求 ftz) = 2 十 ziza 十 2Z2 的 极 小 点 , 取 初 始点 zo = (3,2). 
4 分别 利用 BFGS 算法 和 DEFP 算法 的 Matlab 程序 求解 下 列 优化 问题 : 

(1) min jz = 好 十 22 一 3z1 一 zl172 十 3, 取 zo 一 (0,0)7; 

(2) min Flz) = 4(1 -zi 十 5(za 一 2Z2)2 取 zo 一 (2,0)7. 

5. 用 DEFP 算法 求解 问题 









































Imin 帮 Z) 二 交 1 Z122 -| 2Z2 HH 271 一 47Z2， 








初始 点 取 为 zo = (2,2)7 初始 和 阵 取 为 再 = 了 工 (单位 阵 ). 验证 算法 所 生成 的 两 个 方向 是 关 
加 局 











共 斩 的 . 
6.， 分 别 利用 BFGS 算法 和 DEFP 算法 的 Matlab 程序 求 Powell 奇异 函数 的 极 小 值 : 














min jz) = (zl 十 10za)2 十 5(zs 一 1074)2 二 (za 一 273) 十 10(zl 一 Z4)2 


初始 点 取 为 zo = (3, 一 1 0, 1)7. 
7.， 设 4 为 见 阶 非 奇异 矩阵 ，uw,v eE 形 ", 证 明 : 4 十 wo 可逆 当 且 仅 当 7T 十 oo4-1uw 可 
道 ， 卓 























(4+ 上 + 人 = 4 一 47uT+OL4TTOTIo74-1 





8. 设 BFGS 的 Hessen 矩阵 校正 公式 为 : 








人 下 
Up DBksksk DB 
Pi 三 有 “ 





更 页 
UK SR 3 DPKsK 


肥 = Br 瓦 N = Br 且 妈 sk > 0, 试用 习题 7 的 求 着 公式 求 及 ,1 的 表达 式 . 
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9. 在 DEFP 校正 公式 





sks 万 Wo 








HI 三 RH 
2 5 2 瑟 R2 
中 , 记 
4 二 SS8 ， 二 有 因由 
01 SN 莽 瑟 3 


假设 已 对 称 正定 ,YJ(zb) 关 0(k = 1 2 ,9 证 明 当 DFP 算法 极 小 二 次 函数 fz) = 


| 
5 GT 十 0 时 ,有 





5 = Gr1， 吉 一 一 万 ， 
太一 并 真 三 并 














其 中 G 对 称 正 定 . 
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信赖 域 方法 与 线 搜 索 技术 一 样 , 也 是 优化 算法 中 的 一 种 保证 全 局 收 和 敛 的 重要 
技术 . 它们 的 功能 都 是 在 优化 算法 中 求 出 每 次 欠 代 的 位 移 , 从 而 确定 新 的 欠 代 点 . 
所 不 同 的 是 : 线 搜索 技术 是 先 产 生 位 移 方向 ( 亦 称 为 搜索 方向 ), 然后 确定 位 移 的 
长 度 ( 亦 称 为 搜索 步 长 ); 而 信赖 域 技术 则 是 直接 确定 位 移 , 产生 新 的 迭代 点 . 

信赖 域 方法 的 基本 思想 是 : 首先 给 定 一 个 所 谓 的 “信和 有赖 域 半 径 ” 作 为 位 移 长 
度 的 上 界 , 并 以 当前 迭代 点 为 中 心 以 此 “上 界 ” 为 半径 “ 画 地 为 牢 ” 确 定 一 个 称 
之 为 “信和 有赖 域 ” 的 财 球 区 域 . 然后 , 通过 求解 这 个 区 域内 的 “信赖 域 子 问题 ”( 目 
标 函 数 的 二 次 近似 模型 ) 的 最 优点 来 确定 “候选 位 移 ”. 兰 候选 位 移 能 使 目标 函 
数值 有 充分 的 下 降 量 , 则 接受 该 候选 位 移 作 为 新 的 位 移 , 并 保持 或 扩大 信赖 域 半 
径 , 继续 新 的 从 代 ; 否则 , 说 明 二 次 模型 与 目标 函数 的 近似 度 不 够 理想 , 需要 缩小 
信赖 域 半 径 , 再 通过 求解 新 的 信赖 域内 的 子 问题 得 到 新 的 候选 位 移 . 如 此 重复 下 
去 , 直到 满足 从 代 终止 条 件 . 





















































































































































6.1 ”信赖 域 方法 的 基本 结构 
现在 我 们 来 讨论 用 信赖 域 方法 求解 无 约束 优化 问题 








Imin j 太 (2Z) (6.1) 


ZE 了 R7 








和 基本 算法 结构 . 设 zx 是 第 有 次 欠 代 点 . 记 太 = jz % = VJHzn 有 是 
Hesse 阵 V2/zh) 的 第 天 次 近似 , 则 第 天 次 欠 代 步 的 信赖 域 子 问题 具有 如 下 形式 ; 








工 
min qu(d) 一 gd 二 dBkrd， 
“ (6.2) 
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其 中 Ax 是 信赖 域 半 径 , | | 是 任 一 种 向 量 范 数 , 通常 取 2- 范 数 或 co- 范 数 . 设 子 
问题 (6. 秒 的 最 优 解 为 必 r, 定义 A 访 为 上 在 第 天 步 的 实际 下 降 量 : 








A 太 = 太一 帮 zk 十 必 )， 


Ag 为 对 应 的 预测 下 降 量 : 


Ag =Gak(0) 一 dk(dk). 





再 定义 它们 的 比值 为 可 
人 

一 般 地 , 我 们 有 Aw > 0. 因此 , 和 若 呈 < 0, 则 和 A 太 < 0 人 十 友 不 能 作为 下 
一 个 欠 代 点 , 需要 缩小 信赖 域 半 径 重 新 求解 子 问题 . 各 比较 接近 1, 说 明 二 次 
模型 与 目标 函数 在 信赖 域 范 围 内 有 很 好 的 近似 , 此 时 zkp+i := 4 十 必 可 以 作为 新 
的 迭代 点 , 同时 下 一 次 迭代 时 可 以 增 大 信和 有赖 域 半 径 . 对 于 其 他 情况 , 信和 赖 域 半 径 
可 以 保持 不 变 . 下 面 给 出 求解 无 约束 优化 问题 信赖 域 方法 的 一 般 框架 . 


7 天 


(6.3) 

















算法 18 (信赖 域 方法 ) 

步 0 选取 初始 参数 0<< mp <10< 站 <1< 亡 ,0 和 ss< 匀 1 5206E 玉 ". 
取 定 A > 0 为 信 霜 域 半径 的 上 限 , 初始 信和 赖 域 半 径 Au e (0,A]. 令 大 := 0. 

步 1 计算 由 二 立 f(tz). 车 < es, 停止 选 代 . 

步 2 求解 子 问题 怕 . 录 的 解 水 

步 3 按 人 6. 引 去 计算 m 的 值 . 

步 4 校正 信 赖 域 半径 . 














TI1Ai 若 人 挟 111， 
Ah+l :一 和 人 人 ， 若 71 < 7 < 712， (6.4) 
min{mAh, 和 A)}， 若 人 KR 之 712， 下 伺 | 一 Ah. 


步 D 若 凡 二 771， 则 令 +1L :一 2 十 Cr， 更 新 矩阵 有 到 局 1 令 天 ,一 太 十 上， 
| 


转 步 1. 否则 zk := Ti 令 有 :一 大 十 1 转 步 2. 





注 在 算法 上 中 一 组 推荐 的 参数 值 为 
工 
7/1 一 0.05， 71/2 一 0.75， 了 下 < 0.5， 72 一 2.0， Ao 一 工 或 Ao 一 条 lg(zo)| 
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在 实际 计算 中 可 以 上 述 参数 进行 调整 , 以 达到 最 佳 计算 效果 . 

由 于 子 问题 仁孝 的 可 行 域 是 有 界 闵 集 , 因此 自 法 [加 中 步 2 的 k 存在 , 即 子 
问题 全 引 是 可 解 的 .下 面 的 定理 说 明 zx 不 是 问题 民 耻 的 稳定 点 , 则 预 估 下 降 
量 Agk > 0. 因此 算法 是 适 定 的 


定理 29 设 汲 是 子 问题 的 解 . 若 丰 坪 (zi 天 0, 则 


























和 人 A 一 dk(0) 二 dak(dh) > 0. 


证 易 知 0 是 子 问题 的 可 行 点 , 因此 w(ds) < ok(0), 即 As >0. 下 面 只 
需 证 明 Aw 夭 0. 如 若 不 然 , Aw = w(0) - ok(ds) = 0, 则 wd) = ok(0). 故 0 是 
子 问题 的 最 优 解 . 但 0 是 可 行 域 的 内 点 , 故 有 Vak(0) = 0, 即 VJ(zn) = 0， 
这 与 定理 的 假设 矛盾 . 证 毕 . 
利用 上 述 定理 可 以 证 明 由 算法 [3| 产生 的 序列 {jF(za} 是 单调 非 增 的 . 我 们 












































有 





推论 3 设 {zh} 是 由 算法 [下 产生 的 和 迭代 序列 , 则 序列 {j(zh)} 是 单调 非 增 
的 ， 

证 由 算法 结构 可 知 , 对 任意 天 > 0, 看 六 么 m 则 zk+l := Zk， 此 时 有 
jzpH) = zh 若 闪 > 帮 , 由 定理 B9| 以 及 六 的 定义 可 知 


























J 帮 CCp) 一 ZHI) = JUZp) 一 帮 十 大 ) 一 TEAdk > 0， 

















6.2 ”信赖 域 万 法 的 收敛 性 


为 了 分 析 信赖 域 方法 的 收 和 敛 性 , 我 们 首先 在 欠 代 点 zx 处 , 引入 所 谓 的 “ 柯 西 
点 ”(Cauchy point) 必 的 定义 : 








丰 = -gw (6.5) 
其 中 
上 只 BkOk < 0， 
人 一 (6.6) 
Imin ee 1 gzLBkOR > 0. 
Akg8 Bkgp 有 
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容易 证 明 





|etl|l = mA < Ap 








即 柯 西点 是 可 行 点 , 且 平行 于 jz) 在 zx 处 的 负 梯 度 方向 (最 速 下 降 方 向 ). 下 面 
的 引 理 说 明 柯 西点 吧 可 以 认 来 二 次 模型 一 定量 的 下 降 . 




















引 理 7 由 定义 的 柯 西点 喉 满足 





| ， 
站 [ss jg 网 (6.7) 
3 | 妥 | 


全 而 天 二 订 人 必 和 则 由 -6 有 下 As ， 此 时 有 


0 一 @(- 


和 - 扯 (- [or) :和 人 有 人 (- 0) 


9k(0) 一 0k(dR) 











AN 
二 包 村 一 二 -一 9 
ee 2|l9 
人 可 
之 人 和 用 = Atllgkl (注意 到 -只 Br 盖 0) 
天 
工 | 民 双 | 
有 写作 mm 人 As 
2 到 2 汉 | 
ozlls 


过 则 人 本 9 9 从 而 有 


2 工 态 >0 且 一- 
(2) 大 外 Brgh AkgtBkgk 一 97_.Bkg 








| 

| 

| 

5 
Se 

| 
相 喜 
们 _ 
Im 
We 


9k(0) 一 0K(QR) 





7 ex ) | ex ) | 
= 一 0 (- -一 名) 一 了 (一 和 怠 (- -7 一 % 
人 


1 | 1 1 下 
二 之 过 =|omin Ab 
3 区 B 15 过 下 g| 1 束 | 
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| A 3 
> 1 则 帮 = 一 一 二 凡 及 | > ApkozBkogh 


若 oBkok >0 且 一 一 一 
AkgtBkgk | 9 


且 有 





dk(0) 一 Gdk) 一 0-%(- 区) 


到 二 后 人 oo] Br 人- or) 


1 As 
| 


上 人 Im 和 人 


这 表明 在 各 种 情况 下 ， 都 成 立 . 证 毕 . 
推论 4 设 胃 是 信 球 域 子 问题 的 解 , 则 有 


二 性 


























1 on 
一 之 二 
dk(0) 一 ak(dk) 之 ou Imin {ss 1 (6.8) 


证 由 于 dk(dk) < ak(d2)， 由 引 理 癌 立即 可 得 结论 . 证 毕 . 

下 面 给 出 算法 中 的 全 局 收敛 性 定理 . 

定理 30 假设 在 算法 上 L 引 中 取 = = 0, 函数 Fz) 有 下 界 , 且 对 任意 的 zo E 到 "， 
j 太 在 水 平 集 L(zo) = {z E 开 "| 1(z) < jzo)} 上 连续 可 微 . 又 设 尿 是 子 问题 
的 解 ， 且 天 阵 序列 {Bk} 一 致 有 界 ， 即 存在 常数 M > 0 使 对 任意 的 大 满足 
1Bk< AM. 那么 若 由 天 0, 则 必 有 

































































lim inf ||ok|| = 0. 
大 一 oo 


证 不 失 一 般 性 , 设 驮 夭 0. 则 由 六 的 定义 有 

















和 二 [大 一 7 六 十 四 )] 一 [加 (0) 一 kds] 
(0) 一 (an) 
及 人 一 友 一 dr(dh) 
一 GKR(QN) 9 
注意 到 由 泰勒 公式 有 





了 
帮 估 十 砂 ) 一 大 十 只 dr 十 1/ 下 [9( 大 平 50 同 三 史 |d7 
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因此 当 Ak > 0 充分 小 时 , 可 得 


工 
[jz +do) 一 太一 adk)l = 民 于 2 笃 上 dl[g(zx 十 TQk) 一 gd7 
0 


| 和 人 


1 
5Mae 全 十 oa 《6.10) 














以 下 用 反 证 法 证 明定 理 的 结论 . 设 存 在 so > 0 使 得 | > so， 于 是 由 


(5. 引 -(610 得 














工 2 
we 人 十 oo __MAE+o(Ah 


] 人 |eoxl 一。 mi {A^ } 
世 min A， } sominyAkh, 一 


上 式 表明 存在 充分 小 的 A > 0, 使 得 对 任意 满足 Ak 和 和 A 的 帮 都 有 
| 人 一 二 和 所 1 一 72， 


即 mx > mp. 根据 算法 [ 引 有 Ai > Ah 故 存在 正 整数 如 和 常数 7 > 0, 对 任意 
满足 Ak< 和 A 的 大 > po 有 





| 站 一 并 区 一 O(Ah). 




















站 (6.11) 
另 一 方面 , 假定 存在 无 穷 多 个 大 满足 闪 窟 . 则 由 mx 的 定义 和 全 副 , 对 任 
意 的 大 > Fo 有 


太一 大 Ha h[w(0) - @(dn)] > 他 comin {An 包 上 


jJ(z) 有 下 界 , 上 式 意 味 着 Ar 一 0 (上 一 co), 这 与 矛盾 . 
再 假定 对 于 充分 大 的 妨 都 有 < mi 成 立 . 此 时 Ax 将 以 (< 3) 的 比例 收 
缩 , 同样 有 Ak -》 0(k -oo), 也 与 矛盾 . 因此 前 面 的 假设 |w|| > so 不 成 


立 , 从 而 定理 的 结论 成 立 . 证 毕 . 












































6.3 ”信赖 域 子 问题 的 求解 


信赖 域 方 法 中 子 问 题 的 求解 是 算法 实现 的 关键 . 信赖 域 子 问题 十 一 个 
目标 函数 为 二 次 函数 的 约束 优化 问题 . 已 经 建立 了 求解 该 子 问题 的 如 果 数 值 方 
法 , 如 折线 法 , 截断 共 辆 梯度 法 以 及 特征 值 分 解法 等 . 本 书 介绍 一 种 新 的 求解 方 


去 5 
































首先 我 们 引述 下 面 的 定理 . 
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定理 31 w 是 子 问题 


工 
Imin ok(d) 一 9zd 十 5d Br， 

































































(6.12) 
st. |lqdlz> 和 An 
的 解 当 且 仅 当 
| (人 人 
入 之 0，Ax 一 ||ql>0，A(Az 一 |ella) = 0， 
而 且 及 十 XT 是 半 定 矩阵 . 
定义 一 个 函数 月，x 及 2 一 及 : 
go 人) 一 aa 一 V(a 一切 2 十 4102. 
则 不 难 推出 该 函数 具有 如 下 性 质 
0(0a 人 =0 今 04>0 0>0， oa=0. 
令 z= (Nd) ex 及 + xx 有" 于 是 , 问题 f65.13j 等 价 于 
凡 
瑟 (2) := 五 Nd=| 90ANAE-ldl 允 | =0， (6.14) 


(BK 十 ADQd 一 





g( 和 As 一 人 alla) = 入 一 |ola 十 Ax 一 VG 十 | 上 一 信和 委 二 42， 《6.15) 


不 难 证 明 , 当 风 > 0 时 , 由 定义 的 函数 几 是 连续 可 微 的 , 且 有 














4 
V(A+|e 枉 一 A 和 2 十 402 
入 十 |d 性 一 人 二 
V(A 十 le 公 一 人 和 2 十 4 
入 十 |dlz 一 Ax ) 
V(A 十 | 人 一 A 和 2 十 42 








Mb M5 
So 
| 























:= 一 2(1 十 包 )d 


和 
Do MD 
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故 当 人 /> 0 时 , (:) 是 连续 可 微 的 , 且 其 Jacobi 矩阵 为 





让 首 0 
豆 (=| 内 区 -21+pd | (6.16) 
0 这 项 赶 





























不 难 证 明 ， 若 有 对 称 正 定 ， 则 对 任意 的 入 二 (1 入 , dg) 所 R， 上 关 R + 义 R”， Jacobi 算 
阵 互 '(>) 是 非 奇 异 的 . 
给 定 参 数 Y e (0,1), 定义 非 负 函 数 








Baz) 三 ?二 (z 咱 mintl | 五 (2) 付 (6.17) 


算法 19 (求解 子 问题 的 光滑 牛顿 法 ) 

步 0 选取 cel(0lD,Hn>0ANX>0 doesRn, 置 20 =(1noXodo)， 
5= (1o;,0,0). 选取 yeE(0,1) 使 yuo< 工 及 才 瑟 (zl < 工 令 := 0. 

步 1 如 果 ||(zj)|= 0, 算法 终止 ; 否则 , 计算 DB) = B(2). 

步 2 求解 下 列 方程 组 得 解 Azj = (AiANAdi)， 


款 
Co 


1B(o5+mAa<EE-eG- Buo5mlE(C (6.19) 
令 QO7 :一 07.5 ， 忆 j 十 1 一 7 十 oJ 和 芒 
步 4 令 7:= 了 7 十 1 转 步 1. 











算法 [9| 的 适 定性 及 收敛 性 定理 的 证 明 类 似 于 文献 中, 此 处 省 略 不 证 . 
下 面 我 们 给 出 算法 9] 的 Matlab 程序 . 


程序 12 利用 光滑 牛顿 法 求解 信赖 域 子 问题 , 一 般 适 用 于 (近似 ) Hesse 阵 
正定 的 情形 . 




















function  [d,val,1am,k]=trustdq(gEK,BKk,dta) 

% 功能 : 求解 信赖 域 子 问题 : min qk(d)=gk'?*dq+0.5+kd?*Bkkd，8s. 怀 ， |1dl1<=dqelta 
% 输 入 : ， gK 是 xk 处 的 梯度 ，Bk 是 第 次 近似 Hesse 阵 ，dta 是 当前 信赖 域 半 径 

% 输 出: d，val 分 别 是 子 问题 的 最 优点 和 最 优 值 ，lam 是 乘 子 值 ，k 是 迭代 次 数 . 
Dn=1LIength(Cgk); gamma=0.05; 
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信赖 域 子 问题 的 求解 








epslilJon=1.0e-6; ITrho=0.6; Sigma=0.2; 

mu0=0.05; 1am0=0.05; 

d0=ones(n,1); uo=[mu0,zeros(1,n+1)]，; 

z0= [mu0 ,1am0,dq02]，; 

k=0; 称 为 迭代 次 数 

Z=Z0; mu=mu0; Lam=1am0; dq=d0; 

While (Kk<=150) 
dh=dah(mu,1am,dq,gk,Bk,dqta) ; 
if(norm(dqh)<epsilon) 

break ; 
end 
A=JacobiHCmnu,1am,dq,Bk,dqta) ; 
b=beta(mu,1am,dq,gK,BKk,dqta,gamma)*uO-dh ; 
B=inv(CA) ; dz=B#b ; 
dmu=dqz(1) ;dlam=dqz(2) ; ddq=dqz(3:n+2) ; 
m=0; mkKk=O ; 
While (m<20) 


dhnew=dah(mu+rho>`mkdmu ,1am+rho`mkdlam,dq+rho>`mkdd,gk,Bk,dqta) ; 


if(norm(Cdhnew)<=(1-sigmak(1-gamma#kmu0O)#krho“>m)#kdhy) 


ImKX=mm; 
break ; 
end 
m=m+1T1 ; 
end 
alpha=Trho~mk; 
mu=mu+alphakdmnu 
am=Jam+alphakd]lam; 
dq=dq+alpha#kdd ; 
K=K+l] ; 
end 
Val=gK'#dq+0 .5#d? 半 BKxkd ; 
0660AAOAAOAAOAAOAAOAAOAAOO 
function p=phiGmu,a,b) 
pP=a+b-Ssqrt((a-b)”~2+4*mu) ; 
AAAAAOOAAAOAAAAOOAAO 
function dh=dqah(mu,1am,d,gKk,BKk,dta) 
Dn=]Length(d) ; 


. 91 . 


第 六 章 ”信赖 域 方法 国 目 本 86.3 ”信赖 域 子 问题 的 求解 








dh(1)=mu; dh(2)=phi(Gmnu,1lam，dta`2-norm(d) “2) ; 
mh=(Bk+1amkeye(n) )*kd+EgK; 
for(i=1:Dy) 

dh(2+i)=mh(i) ; 
end 
dh=dqh(:) ; 
全 全 全 售后 语 全 语 全 语 语 生 售 语 全 全 
function bet=beta(mu,1am,d,gEK,BK,dqta,gammal) 
dh=dah(mu,1lam,dq,gk,Bk,dqta) ; 
bet=gamma*knorm(dh)*kmin(1,norm(Cdqh) ) ; 
AAAAAAAAAAAAAAAAAAAAA 
function A=JacobiH(Cmnu,1lam,dq,Bk,dta) 
n=1length(d) ; 
A=Zzerogs (n+2 ,n+2) ; 
pPmu=-4*mu/sqrt((1Lam+norm(d) “2-dqta“`2)”~2+4*xmu`21) ; 
thetak=(Lam+norm(d) “2-dta`2)/sdqrt((Lam+tnorm(d) “2-dta`2) ”2+4#kmu “2) ; 


A= [1 ， 0， Zeros(1,mD) ; 
Pmnu ， 1-thetak， -2#k(1+thetak)#kd? ; 
Zeros (n ,1) ， d， BKk+1lamkeye (n)] ; 


我 们 利用 上 面 的 程序 求解 一 个 信赖 域 子 问题 . 


例 19 求 下 面 信赖 域 子 问题 的 最 优 解 


j dd 一 ozd 5d7B dl 
| 00 
其 中 
1202 ”400 
OK ， 从 三 5 
一 200 -400 200 


解 在 Matlab 命令 窗口 依次 输入 下 列 命 


gk=[400 -200]，; 

BKk=[1202 -400; -400 200] ; 
dta=5 ; 
[d,val,1am,Kk]=trustq(gk,Bk ,dta) 


得 到 
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d = 
0.0000 
1.0000 

Val = 
-100.0000 

am = 
4.1000e-007 

KX = 
5 


即 子 问题 的 最 优 解 为 4 = (0, 1 最 优 值 为 w(d) = 一 100, 友 代 5 次 . 


6.4 “信赖 域 方法 的 Matlab 程序 


本 节 给 出 一 个 牛顿 型 信赖 域 方法 的 Matlab 程序 , 在 某 种 意义 上 该 程序 是 通 
用 的 . 


程序 13 (求解 例 20| 的 信赖 域 方 法 Matlab 程序 ) 





function [xk,val ,上 k]=trustm(XxO) 
% 功 能 : 牛顿 型 信赖 域 方法 求解 无 约束 优化 问题 min f(x) 
% 输 入 : x0 是 初始 迭代 点 
% 输 出 : xk 是 近似 极 小 点 ，val 是 近似 极 小 值 ，K 是 迭代 次 数 
D=lLength(x0) ;  X=X0; dta=l; 
etal=0.1; eta2=0.75; dtabar=2.0; 
tau1=0.5; tau2=2.0; epsilon=1e-6; 
Kk=0; Bk=Hess(x) ; 
While(Kk<50) 
gk=gfun(x) ; 





if(norm(gK)<epsilon) 

break ; 
end 
% 调用 子 程序 trustq 
[qd,val ,1am,ik]=trustq(CgK,BK,dqta) ; 
deltaq=-qk(x,d) ; 
deltaf=fun(x)-fun(Cx+d) ; 
TKk=deltaf/dqeltadq; 
if(rk<=etal) 
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dta=taul#kdta; 
else if (TrKk>=eta2&norm(d)==dta) 
dta=min(tau2*kdta,dqtabar) ; 
ese 
dta=dta; 
end 
end 
if(zrk>etal) 
X=X+d ; 
Bk=Hess(x) ; 
end 
K=K+1T ; 
end 
XK= 式 ; 


Val=fun(xk) ; 
例 20 利用 信赖 域 方法 的 程序 [1 引 求 解 无 约束 优化 问题 
min FJzZ) = 100(z 一 Z2)2 十 (2 一 了 (6.20) 


该 问题 有 精确 解 z* = (1, 1)7，j(z*) = 0. 所 谓 牛顿 型 信赖 域 方法 ， 是 指 信赖 域 子 
问题 中 的 天 阵 及 取 为 目标 函数 的 Hesse 阵 Gx = V2F(z)， 














解 我 们 需要 先 编制 目标 函数 和 它 的 梯度 及 Hesse 阵 的 三 个 M 文件 : 
目标 函数 文件 fun.m 





function f=fun(x) 


f=100* (x(1) ~2-x(2))>~2+(x(1)-1) "2; 
目标 函数 的 梯度 文件 gfun.m 


function gf=gfun(x) 
gf=[400*X(1)*(X(1) “2-X(2) )+2#(X(C1)-1) ，-200*#k(xX(C1) “2-X(C2))] ); 


目标 函数 的 Hesse 阵 文 件 Hess.m 





function He=Hess(x) 


He=[1200*x(1) >“2-400*+X(2)+2，-400*X(1); -400*x(1) ，200] ; 


信赖 域 子 问题 目标 函数 文件 qk.m 
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function qdq=qk(Cx,d) 
gk=gfun(x);  Bk=Hess(CX) ; 
qd=gK?#d+0 .5#kd?#Bk#kd; 





我 们 利用 程序 有 3 终止 准则 取 为 |Vj(zall < 10-5. 取 不 同 的 初始 点 , 数值 结 
果 如 下 表 . 


表 3.2 信赖 域 方法 的 数值 结果 ， 









































初始 点 (zo) | 迭代 次 数 () | 目标 函数 值 (jzp)) 
(0.0, 0.0 疾 19 9.9111 x 10-22 
(0.5; 0.5) 17 5.7509 x 10-23 
(1.0,2.0) 35 1.1261 x 10-23 
(2.0,1.0) 30 1.0828 x 10- 
(1.0, 一 1.0) 18 1.5543 x 10-21 
(一 1.0,1.0) 36 1.3927 x 10-16 

















说 明 对 于 其 他 不 同 目标 函数 的 无 约束 最 优化 问题 的 求解 , 只 需 根据 具 体 函 
数 表达 式 修改 目标 函数 、 梯 度 和 Hesse 阵 三 个 子 函数 程序 (fun, gfun, Hess) 即 可 . 





习题 6 











1， 设 和 矩阵 PN E BR" 对 称 正 定 . dx 是 子 问题 mindk(dq) 一 drBhd+VJ(zard+ jz 
的 解 , 证 明 : 忆 是 函数 站 ZK 处 的 下 降 方向 . 
2， 设 函 数 w(g) = jd BkdT YAze) da+ Jazn, 证 明 : 























]， 如 果 VjJ(za)7BkVj(zk) < 0， 
TK 一 
上 YAFza)IE 上 
min (1， 二 < 巴 
是 沿 搜索 方向 
一 -一 一 一 V Hz 
[Fe ye 


的 w(d) 的 极 小 点 . 
3.， 用 信赖 域 方法 的 Matlab 程序 求 最 优化 问题 min /(z) = 10(zz -zi)2 +(1 一 zi)2 的 
最 优 解 , 取 初 始点 zo = (0,0)7, 终止 准则 值 s = 10-5. 
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4， 若 对 称 矩 阵 已 < 了 nxn 可 分 解 为 万 = QAQT, 其 中 Q = (oo ,go) 为 正 交 阵 ， 
A 一 diag(Ai,X2,…: , Xm)， 证 明 : [ 









































(已 十 A1)d = 一 9， 
I 串 = 全 
所 确定 的 解 可 表示 为 ; 
?也 dz 9 
2 





也 


地 2\、__ (0 9)” 
去 人 AI 门 =-22 .TXT 


和 1 
5. 设 妃 是 一 个 阶 对 称 和 矩阵, 证 明 存 在 > 0, 使 得 已 + XT 是 正定 矩阵 . 
6. 设 re[0,1 满足 (=-7)s%% 十 7 史 | = Au 证 明 : mk(sk) < nk(s8)， 其 中 nk(s) 一 
工 
jzk) 十 对 ss 十 5”Bks， 外 二 VCZR)， 



































和 A 
-也 [e 如 果 鸡 Begr < 0， 
5 二 An gx 
天 9 } 五 
in{ ON， 否则 ， 
gx 咕 Bkgx 
和 人 
二 若 |s 则 | > Ah 
|gkl 
中 一 1 一 Brlgk， 若 |s 册 < As 且 | 史 < An 


























s& 十 T(su 一 s， 其 它 . 











7. 设 s = argminfmk(s) :sl < Ah sespan[gu;, Bo) 其 中 





工 
maok(s) 一 jzk) 十 97s 十 本 5 ”Bks. 














大 及 是 正定 的 , 试 确定 sk 的 具体 表达 式 . 
8， 利用 光滑 午 顿 法 的 Matlab 程序 求解 下 列 信赖 域 子 问题 , 分 别 取 A = 1，2，5. 
































min dg(zZ) 一 2z3 一 47zlza 十 472 一 671 一 372， 
st lzl|< 和 A 


2 


工 
Imin dg(z) 一 二 Z747z 十 所 27， 
st， | zl < 和 A， 
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其 中 
3 一 2 工 Z1 
4 = 一 工 2 0 》 0 三 一 3 ) 光一 化 2 
2 0 4 一 2 必 3 


第 七 章 ” 非 线性 最 小 二 乘 问 题 


非 线 性 最 小 二 乘 问题 是 科学 与 工程 计算 中 十 分 常见 的 一 类 问题 , 并 在 经 济 学 
等 领域 有 广泛 的 应 用 背景 . 不 但 如 此 , 约束 优化 问题 还 可 以 通过 KKT 条 件 与 非 
线性 方程 组 建立 起 重要 的 关系 . 本 章 , 我 们 主要 讨论 非 线性 最 小 二 乘 问题 的 一 些 
求解 算法 及 其 收敛 性 质 . 


























7.1 Gauss-Newton 法 


非 线性 最 小 二 乘 问 题 是 求 向 量 任 ze 司 使 | 儿 (z) 且 最 小 ,其 中 映射 
开 : BR 一 有 "是 连续 可 微 函 数 . 非 线性 最 小 二 乘 问题 在 工程 设计 、 财 政 金融 等 
方面 的 实际 问题 中 有 着 广泛 的 应 用 . 

记 下 (z) = (下 (2 及 (2 Fn(ZD)) 则 非 线性 最 小 乘 问题 可 以 表示 为 








mao) = Po 一 了 2 怀 () (7 


ZER7 
显然 , 该 问题 本 身 就 是 一 个 无 约束 优化 问题 , 因此 可 以 套用 无 约束 优化 问题 的 数 
值 方法 如 牛顿 法 、 拟 牛顿 法 等 方法 求解 . 基于 问题 的 特殊 性 , 我 们 在 这 些 
优化 算法 的 基础 上 , 建立 更 适合 本 类 问题 的 求解 算法 . 
对 于 问题 (. 填 ， 目标 函数 太 的 梯度 和 Hesse 阵 分 别 为 : 



































T72 


g 人 gsVjO=v(alFa 站 = = ReovRG 


?一 工 
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GO 全 WU 三 六 Z))7 十 > 两 (网 允 克 国 
= TCD TCD)+2 CC)YRO) 
全 JJ(z)77(z) 十 S(z)， 
其 中 
J(Z) 三 开 (z) =(VR 有 (四 VER(Z 人 3 瓦 (Z)V2(z 








利用 牛顿 型 欠 代 算法 , 我 们 便 得 到 求解 非 线性 最 小 二 乘 问题 的 欠 代 算法 : 
必 [+L 二 KE 一 ( 十 Si) .KRF(zn)， 


在 标准 假设 下 , 容易 得 到 该 算法 的 收 义 性 质 . 缺点 是 S(z) 中 V2 玉 (zz) 的 计算 量 
较 大 . 如 果 忽 略 这 一 项 , 便 得 到 求解 非 线 性 最 小 二 乘 问 题 的 Gauss-Newton 迭 代 
算法 : 











ZpH 一 ZK 十 dEA， 
其 中 
汪汪 二 | 风 克 三 交 双 
称 为 Gauss-Newton 方向 . 容易 验证 dgy 是 优化 问题 





， 工 
台 记 了 (ze) 十 dl 


的 最 优 解 . 知 向 量 函 数 F(z) 的 Jacobian 怎 阵 是 列 满 秩 的 ， 则 可 以 保证 Gauss- 
Newton 方向 是 下 降 方向 . 如 同 牛 顿 法 一 样 , 若 采 取 单 位 步 长 , 算法 的 收敛 性 难以 
保证 . 但 如 果 在 算法 中 引入 线 搜索 步 长 规则 , 则 可 以 得 到 如 下 的 收敛 性 定理 . 




















定理 32 设 水 平 集 C(zo) 有 界 ,，.J(z) = 忆 (z) 在 C(zo) 上 Lipschitz 连续 且 
满足 一 致 性 条 件 
yc) >allyll，Yy es 忌 ， (二 
其 中 , a > 0 为 一 常数 . 则 在 Wolfe 步 长 规则 下 


| JR 十 akdk) 芭 及 十 O1QKg8GR， (7.3) 


9g(zK 十 akdk)7dk 之 aag8 dk 


. 99 . 


第 七 章 。” 非 线性 最 小 二 乘 问题 87.1 GAUSS-NEWTON 法 








其 中 0< ol <oo <1. Gauss-Newton 算法 产生 的 迭代 点 列 {Zk} 收 你 到 的 
一 个 稳定 点 . 即 
diam .J(z7R(zp) = 0. 





证 明 由 .7(z) 在 C(zo) 上 Lipschitz 连续 可 知 .J(z) 连续 . 由 于 水 平 集 C(zo) 有 
界 , 故 存 在 8 > 0 使 得 对 任意 ze C(zoj,|y(z)l < 8 成 立 . 记 丰 为 Gauss-Newton 
方向 吃 > 与 负 梯 度 方向 -9 的 夹 角 . 利用 一 致 性 条 件 (路 ， 我 们 有 




















cos 外 过 gd 三 一 全 
|gela8 | [二 | 
四 上 Ac 有 oo 
相 G 用 2 


由 于 9(z) 在 C(zo) 上 Lipschitz 连续 , 则 由 必 .3 的 第 二 式 得 


(os 一 T)9 帮 和 [9( 人 十 akdk) 一 9 < ax 人 要. 








故 


02 一 工 gd 
元 ex 








QF 一 


将 其 代入 人 引 的 第 一 式 得 


1 一 ao (网 dt) 
二 | 








了 
太一 ji 之 一 aiakd 过 al 


也 
两 边 对 大 求 级 数 , 利用 { 太 } 单调 不 增 有 下 界 , 得 到 


ee 
> okl2cos2 pk < oo. 





CT 
一 01 || gcos2 0 




















大 一 工 
由 此 可 得 
人 
证 毕 





定理 33 设 单位 步 长 的 Gauss-Newton 算法 产生 的 迁 代 点 列 {fZzpy 收敛 
到 (7. 囊 的 局 部 极 小 点 or*， 而 且 J(z)7J(z*) 正定 ， 则 当 .J(z)7J(z)，S(z)， 
[7y(z)77(z -在 ze* 的 邻 域 内 Lipschitz 连续 时 ,对 充分 大 的 到 ,有 


z 一 到 7 人 S2 几 一 天 1 二 Ole 一 玖 
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证 明 由 于 JJ(z)7y(z)，S(z)， [zz 在 阅 的 邻 域内 Lipschitz 连续 ， 
故 存在 6 > 0 及 正 数 a, 8,7 使 得 对 任意 zy E N(z* 0) 有 ， 
8 一 SO Sallz 一 外 
外 7 网 二 了 的- 和 到 二 一 名， 《7.4 
上 wz 关 7 一 一 [7 人) 一 < yz 一 名 


由 于 jz) 二 阶 连续 可 微 , G(z) = J(z)7J(z) +S(z) 在 NW(z* 0) 上 Lipschitz 连 
续 , 故 对 充分 大 的 上 和 模 充 分 小 的 上 e 有 有 入 十 六 E V(z*0), 且 








9g( 十 阅 二 gp 十 GO 六 十 OCR 47.5) 


由 于 zx 一 2 对 充分 大 的 大 ,有 zz E NO 令 旺 人 一 寻 有 一 
光 KE+L 一 尼 丰 ) 则 


9g(zZ) 三 0( 人 一 ek) 王 0. 


利用 心中 ， 


9g(z 一 G(zpeg 二 O(ekl = 0. 


即 
天 肥 一 (天 大 +See+O 人 en = 0. 


注意 到 JJ 王 一 (开办 )(zk+l 二 0) 二 一 . 开 .大 有 两 边 同 乘 (天 内) 
一 有 一 一 (JE 内 )-LSkek 十 (天 IO 人 (es 三 八 : 


所 以 
大 村 所 本 晤 赂 于 商 二 本 (大 0 0 丽人 | 


两 边 取 2 范 数 ， 
z 一 天 Sesll 二 放下 Olesl 


由 于 [J(zjry(zj-: 在 * 处 连续 , 故 在 大 充分 大 时 ， 





上 (大 < 2 cz 一， (7.6) 


从 而 
上 一 站 天 Sm 一 2 二 OUdloe 一 作 | 二 . (7.7) 
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由 改名 , (6 得 
上 se TGS) 
和 | 外 ( 状 用 Se 一 SG 
十 上 交 罗 oO 一 MG TGS(cl 
和 2allyG) 7 几 ee 一 关 +311SGlloe 一 2 
=O(x 一 安 川 








印 


【CEIEEESC| 
十 | 大 5 一 [7 TS(2 
7 TS 中 +O 人 lz 一 2) (7.8) 


将 他 中 代入 位 下 即 得 本 定 立 的 结论 . 证 毕 . 




















注 1 若 问题 抱 . 直 满足 定理 B3] 的 条 件 且 最 优 解 z* 使 得 目标 函数 值 取 零 ， 
则 S(z*) = 0， wo 2*.， 但 当 F(z) 在 最 优 解 
点 的 函数 值 不 为 0 时 , 由 于 V2j(z) 略 去 了 不 容 忽视 的 项 9(z),， 因而 难于 期 待 
Gauss-Newton 算法 会 有 好 的 数值 效果 . 


7.2 ”Levenberg-Marquardt 方法 


Gauss-Newton 算法 在 欠 代 过 程 中 要 求 窍 阵 J(zk) 歹 列 汪 秘 ， 而 这 一 条 件 限 制 
了 它 的 应 用 . 为 克服 这 个 困难 , Levenberg-Marquardt 方法 通过 求解 下 述 优 化 模 
型 来 获取 搜索 方 辣 











四 。 2 2 
大 二 arg 世 |‖Ad 十 不 | 十 Alal 
其 中 凡 r > 0. 由 最 优 性 条 件 知 必 满足 


V( 人 (AT+ 及 上 +Aellel = 2[( 天 +ADd+ 天 到] =0. 


帮 一 一 (开关 十 At 站 开关 且 . (7.9) 
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若 由 = 有 屎 灰 夭 0, 则 对 任意 Mr > 0， 


钛 大 三 一 ( 天 于) 天 大 十 AD (天 用) < 0. 





所 以 的 是 Fz) 在 zx 点 的 下 降 方向 . 这 样 , 我 们 便 得 到 求解 非 线性 最 小 乘 问题 的 
L-M 方法 : 





算法 20 (全 局 收敛 的 直 -M 方法 ) 

步 1 取 poeEl(01) 和 Ho>0, 置 大 :=1. 
步 2 若 g(zp) =0, 停 算 . 

步 3 求解 下 面 的 方程 组 


(天 大 十 Mn)d = 一 天 及 ， (7.10) 


何 QQ 
步 4 由 Armijio 搜索 求 步 长 . 令 nk 是 满足 下 面 不 等 式 的 最 小 非 负 整数 mm : 


(2 十 DO“dj) 芝 灰 十 Oomgt dk (7.11) 


令 a 


IT 


KK 一 


下 面 我 们 来 讨论 L-M 算法 的 收敛 性 . 注意 到 算法 区 0| 中 搜索 方向 必 的 取 值 
其 实 是 与 Mk 有 关 的 , 严格 意义 上 讲 , dr 应 记 为 & 和 (Un 因此 L-M 方法 的 关键 是 
在 友 代 过 程 中 如 何 调整 参数 以 为 此 我 们 移 给 出 如 下 结论 . 

















引 理 8 |ldus(j)|| 关于 人 > 0 单调 不 增 , 且 当 风 一 co 时 , ||dux(a| 一 0. 


证 明 注意 到 





ol 有 roOdk(1) 

0 
由 知 

(人 庆 ) 硬 网 襄 二 用 甩 
对 上 式 两 边关 于 刀 求 导 ， 


Oqk(H) 


员 = 0. 


人 (人 十 (7 庆 十 由 
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故 
Ddi(1) 一 一 (天 大 十 AD 站 To 人 JJ (7.12) 
ODN 
于 是 ， ， 
ellauo)l -2d 人 (OZ 十 AD-ad(O<0 (7.13) 


ODN 

从 而 |uk() 人 关于 A 单调 不 增 . 由 式 可 以 得 到 命题 的 第 二 个 结论 . 证 毕 . 

从 几何 直观 来 看 , 当 和 拖 阵 . 尼 凡 接近 奇异 时 , 由 Gauss-Newton 算法 得 到 的 搜 

索 方 向 的 模 dev|| 相当 地 大 . 而 在 L-M 方法 中 , 通过 引入 正 参 数 / 就 避免 了 这 
种 情形 出 现 . 下 面 讨论 参数 / 对 搜索 方向 角度 的 影响 . 



































引 理 9 dk(1) 与 一 OK 的 夹 角 0 关于 凡 人 0 单调 不 增 . 











证 明 由 人 
0 一 二 多 CR 
IO 
知 
Ocos0 2 人 ( 二 ) 
51 [IC 
TOd 7 
glla1 用 alone 
7.14 
ER 下 07. 
利用 己 了 引 - 忆 相 , 将 上 式 中 的 分 子 展开 
TOu 7 
ae alal 人 1 





二 基 Jo (用 大寺 有 网 

一 航 罗 (ga (天 天 十 UDCCUJJGk(A 
三 |g| 和 叶山 a( 天 六 十 AD GAN) 

一 和 (NG (天 天 +AD ajax 


lo 叶 人 GE 一 可 (GO( 天 大寺 AD7idk(A) 








OO 
本 -2 下 虹 [ICAO 二 叹 (dk(A)] (天 六 让 站 汪 训 
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= 一 |g 几 ea(o (天 大 十 AD720x 
十 gllg (天 大 十 由 719898 (天 大 十 AD -gak(ol 














严 吕 全 1 7 人 -2 7T7 7 一 2 
一 一 大 .大 十 HL 大 大 十 1 


十 多 (天 大 十 AD (天 大 十 npD-age 


因为 天 六 半 正 定 , 故 存在 正 交 阵 Q 使 得 





QI 天 JQ = diag{fXi… ，Xn 





记 w :=(Q7os)i 则 有 


| | 
二 (人 注 门 -1O = di 本 
O (天 太 十 AD Q iag{ 元 二 人 








央 ( 天 大 十 AD = (Qronrdiag{ 


1 
3 


人 


























所 以 
1 
和 .7 了 一 2 和 
级 (天 大 十 LT) 一 因 这 二 
1 
全 
狼 ( 天 天 十 AD 一 纪 2 
这 样 (7.14) 式 的 分 子 等 于 
严 吉 人 
二 ee 十 和 
[CD (过 CR ED 
2 一 o202 u202 
本 开光 汪 | 1 7 十 1 | 
iT 各所 LT 二 天 ”十 厅 O 二 1 
lo Te 苹 UV 
一 区 二 
le(O2 所 气 (二 AD2(N 二 0 (Na 十 AN 十 内) 
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从 而 必 与 一 ou 的 夹 角 0 关于 /> 0 单调 不 增 . 证 毕 . 
可 以 设想 , 当 参 数 六 > 0 充分 大 时 ,dx( 和 的 方向 与 目标 函数 的 负 梯度 方向 一 
致 . 














引 理 10 (. 天 六 十 AD) 的 条 件数 关于 /> 0 单调 不 增 ， 
证 明 由 .天 及 为 对 称 半 正 定 和 矩阵 可 知 , 存在 正 交 阵 @, 使 
QQ 下 7Q=diag{ 和 Xi :和 其 中 和 1 二.… .之 和 >0. 


所 以 (. 达 天 上 AD 的 条 件数 为 








几 Al 十 内 
全 了 和 了 1 一 于 . 
改天 天 十 2 天 十 AD 一 人 
D 7/ 入 入 入 
( | . 一 人 1 < 0， 
DHU\Xn 十 HA/ (An 十 有 2 








从 而 (天 有 天 十 AD) 的 条 件数 关于 /> 0 单调 不 增 . 证 毕 . 
在 具体 的 L-M 算法 中 , 我 们 用 类 似 于 调整 信赖 域 半 径 的 策略 来 调整 参数 /. 
首先 , 在 当前 和 迭代 点 定义 一 个 二 次 函数 




















(四 = jobT(ORPDraT5drCEAd 





醒 


基于 当前 给 出 的 /根据 已 忠 计算 四 然后 考虑 vd(dg) 和 目标 函数 的 增 


1 
Ad(adk) = ddk) 一 4(0) 三 (天 到) 站 了 (7 几 )qh， 











Ajdpj = jz 二 dl 一 zh) = 帮 ZpH) 一 矿 Zb) 
用 从 表示 两 增 量 之 比 
_Ajdi) jzpH) 一 有 zzp 


(天 及 )7dk 十 末 人 (大 ) 人 


在 工 M 算法 的 每 一 步 , 先 给 呈 ur 一 个 初始 值 , 如 取 为 上 一 次 迭代 步 的 值 , 计算 必 ， 
然后 根据 六 的 值 调整 wx 最 后 根据 调整 后 的 jz 计算 办 , 并 进行 线 搜索 , 进而 完 
成 L-M 算法 的 一 个 欠 代 步 . 显然 , 当 人 接近 1 时 , 二 次 函数 q(d) 在 xx 点 拟 合 目 
标 函 数 比 较 好 , 用 L-M 方法 求解 非 线 性 最 小 乘 问题 时 , 参数 / 应 取得 小 一 些 . 换 
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言 之 , 此 时 用 Gauss-Newton 法 求解 更 为 有 效 . 反 过 来 , 当 人 接近 0 时 , 二 次 函数 
d(d) 在 克 点 拟 合 目标 函数 比较 差 , 需要 减 小 羽 的 模 长 . 根据 引 理 回 应 增 大 参数 
1A 的 取 值 来 限制 必 的 模 长 . 而 当 比 值 因 既 不 接近 于 0 也 不 接近 于 1, 则 认为 参 
数 必 选取 得 当 , 不 做 调整 . 通常 7 的 临界 值 为 0.25 和 0.75. 据 此 , 得 到 算法 B0| 
中 参数 号 的 一 个 更 新 规则 如 下 


























0.1/， 当 信 >> 0.75， 
HE+I :一 Mr， 当 0.25 区 你 0.75， (7.15) 
101k， 当 凡 < 0.25. 





下 面 是 Levenerg-Marquardt 方法 的 收敛 性 定理 . 


定理 34 设 {zk} 是 由 算法 [20| 产 生 无 穷 选 代 序 列 , 若 {ZhyAk} 的 某 一 聚 点 
(ZJ 满足 JI) 二 AT 正定, 则 Vj) = VE(z) =0， 


证 明 由 于 和 > 0, dx 为 下 降 方向 , 存在 收 伊 于 z* 的 子 列 ze， 满足 


大 克 一 J(z TAN 一 凡 





由 于 .J(z9zy(zo + AT 是 正定 矩阵 , 若 YA(zo9) 夭 0, 则 
di 一 必 = 一 7J(z9)7 7 十 这 丰 -To 
而 且 必 是 zx* 点 的 下 降 方向 . 所 以 对 pe (0,1), 存在 非 负 整数 m* 使 得 
J 人 有 的 过 下 


注意 到 zw 一 2 当 了 充分 大 时 , 由 连续 性 知 





(而 攻 pm dh) 二 帮 zD) 击 三 有 
由 Armijo 步 长 规则 知 m* > mi 所 以 


太 ZPTH) 一 Zi 计 Di 
jzu) 二 apnwV7(za) dt 
2Z) 国 同 2 


IAA _ JIA 


即 对 充分 大 的 了 


| 人 


丰 病 癌 拉克 ”又 NA 号 47.16) 


刘 
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又 

加 Haot= 加 Jo-=jen) 
从 而 对 人 1g 两 边 求 极限 得 


jc < Jo)+oom Ver 














这 与 VJ(zO)za* < 0 了 矛盾 . 所 以 VHF(z) = 0. 证 毕 . 
下 面 分 析 算 法 BO| 的 收敛 速度 . 
定理 35 设 由 算法 P0| 产 生 的 选 代 序 列 {zk} 收 伊 到 的 一 个 局 部 最 优 
解 Z*. 若 .J(z7 JJ(zr*) 非 奇 异 ， (5 一 5 77 一 5S(o") 正定 , 且 G(Z) = 
J(zZ)77(z)TS(Z) 在 人 * 附近 一 致 连续 , /太一 0. 则 当天 充分 大 时 , ok =1 且 








zz 一 好 | 
im sup -一 一 一 
koo | 一 2 


证 明 要 证 ax = 1 只 需 证 对 充分 大 的 大 ， 
帮 十 中 ) 一 zk) 挟 0g! dx 


对 任意 有 > 0, 由 中 值 定 理 知 存在  e (0,1), 使 得 


< 7 zlS(zc (7.17) 
































jz 十 大 ) 一 zh) = 哆 dr 十 dtG(o 十 Gkdk)QK. 
由 全 相 式 | 

了 Go 成 亿 

三 dtG(o 下 相 克 届 

= 一 (一 oj 民居 有 帮 十 (一 aptllae 一 4 十 Sejdh 
+ 有 IGCo -GGx+Gaola 

芝 (5 四 c] 克 . 交 大 帮 十 代 一 吕 克 | 你 上 2 一 RSvd 
+3IGC -Ge+Gaolw 





YA (1 人 CO)HAKT 十 5[G(on) 一 GZ 十 CeQp)] 一 0U. 
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由 题 设 , K 充分 大 时 ， 


工 
一 (一 可 央 中 一 5 下 G(oe 十 人 dk)d 


要 让 一 c] Re = 二 二 起 优 凡 站 


2 
从 而 ax = 工 成 立 . 这 样 ， 


贿 和 人 
= 一 (大 灰 十 AUD 一 Ge 一 他 
一 [( 天 天 十 AD)(m 一 好) 一 Gp(mz 一 他 )]} 
= 一 (天 大 十 MD 区 一 gz 一 Gk(ze 一人] 
十 (天 天 十 凤 门 TU 一 S)(zk 一 2 


二 | [和 


人 


故 


工 
le < OADPI ee rc)- 


NI 





lzzs 一 | 
im sup 一 一 一 
koo | 一 2 


证 毕 . 





证 让 交 的 目标 函数 的 最 优 值 为 0 时 , 若 取 
多 一 |F(zal celo,]， 


或 
庶 三 刚 下 +- 人 大 天 | ， 2003， 


则 可 以 建立 Levenberg-Marqduardt 算法 的 二 阶 收敛 性 质 . 
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7.3 工 -M 算法 的 Matlab 程序 





本 节 我 们 给 出 L-M 算法 Bo| 的 Matlab 程序 , 在 某 种 意义 上 该 程序 是 通用 的 . 


程序 14 利用 LM 方法 求解 非 线性 方程 组 严 (Z) = 0, 可 适用 于 未 知 数 的 个 
数 与 方程 的 个 数 不 相等 的 情形 . 


function [x,val,k]=1mm(FK,JFK,xO) 

% 功 能 : 用 L-M 方 法 求解 非 线性 方程 组 : FE(x)=0 

% 输 入 : x0 是 初始 点 ，FE，JFK 分 别 是 求 F(xk) 及 F， (xk) 的 函数 . 
% 输 出 : xx，val 分 别 是 近似 解 及 |1F(xk)11 的 值 ， 是 迭代 次 数 . 
maxk=100;  Y% 给 出 最 大 迭代 次 数 

rho=0.55;sigma=0.4; muk=norm(feval(FK,x0) ) ; 


K=0 








; epsilon=1le-6; Dn=Jength(x0) ; 


While (k<maxkK) 


end 


fk=feval(Fk,x0); Y 计 算 函 数值 

jfk=feval(JFk,x0); % 计 算 Jacobi 阵 

gK=]j 节 K "7#fk; 

dk=-(jfk?*jfk+muk+keye(n))Ngk; % 解 方程 组 Gk#xdqk=-gk， 计 算 搜 索 方 向 

if (norm(gk)<epsilon) ，break; end 《YY 检 验 终止 准则 

m=0 ; mK=O ; 

while(m<20)  % 用 Armijo 搜 索 求 步 长 
newf=0.5*knorm(feval (Fk ,XO+rho>mkdqk))>2; 
oldf=0.5*knorm(feval(FK,x0)) >2; 
if(newf<oldf+sigmakTrho>mkgk)2#dqK) 














ImK=m;i break; 
end 
m=m+1 ; 
end 
XO=XO+Tho ”~mKkdK; 
muk=norm(feval(FK ,XxO) ) ; 
KK=K+1T; 


X=XO ; 
ValL=0.5*xmuk ”2 ; 





我 们 利用 上 面 的 程序 来 求解 一 个 信 非 线性 方程 组 . 
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例 21 用 LM 方法 求解 非 线 性 方程 组 求解 下 列 方程 组 

















| Z1 一 0.7SinZl 一 0.2cosZo 三 0， 


2Z2 一 0.7cosZl1 十 0.2sinzo 三 0. 


解 先 编制 两 个 函数 程序 , 并 将 它们 作为 利文 件 与 程序 [和 一 起 存放 于 当前 
工作 目录 下 . 

AFK .和 

function y=FK(X) 

y(1)=Xx(1)-0.7*xSsin(X(C1))-0.2*kcos(X(2) ) ; 

y(2)=X(2)-0.7*kcos(X(C1))+0.2*kSin(X(2) ) ; 

y=y(:) ; 

%JFK .m 

function JF=JFK(X) 

JF=[1-0.7*kcos(x(1))，0.2*xkSin(X(2) ) ; 

0.7*kSsin(Xx(1))，1+0.2*xkcos(xX(2))] |; 


该 问题 有 解 z* s (0.52652,0.50792)7， 我们 利用 程序 [和 j 终止 准则 取 为 






























































|VAzpl < 10-5. 取 不 同 的 初始 点 , 数值 结果 如 下 表 . 
表 8.1 LI-M 方法 的 数值 结 

初始 点 (zo) | 迭代 次 数 (外 | 目标 函数 值 | PP(za)ll2/2 
(0.0, 0.0) 江 7 9.4380 x 10-16 
(1.0,1.0) 6 7.4433 x 10-3 
(1.0, 一 1.0)7 9 4.6783 x 10-19 

(一 1.0,1.0) 10 7.6358 x 10-22 
(5.0;,5.0) 并 14 3.2383 x 10-20 

(一 5.0, 一 5.0) 20 2.1319 X 10- 蕊 

习 题 了 





1， 设 有 非 线 性 方程 组 
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(1) 列 出 求解 这 个 方程 组 的 非 线性 最 小 二 乘 问题 的 数学 模型 . 
(2) 写 出 求解 该 问题 的 高 斯 -牛顿 法 迭代 公式 的 具体 形式 . 

(3) 初始 点 取 为 zo = (2,2)7, 欠 代 三 次 . 

2 已 知 某 物理 量 y 与 另外 两 个 物理 量 妈 , 妃 的 关系 为 


2Z103t1 
工 十 21tl 十 Zat2 


















































2 

















其 中 zl, za, 73 是 待定 参数 . 为 确定 这 三 个 参数 ， 测 得 六 ,如 和 yY 的 一 组 数据 . 

















和 在 1.0 2.0 1.0 2.0 0.1 





t 1.0 1.0 2.0 2.0 0.0 





2 0.13 0.22 0.08 0.13 0.19 














(1) 用 最 小 二 乘法 建立 关于 确定 zj, zz, za 的 数学 模型 ， 
(2) 对 列 出 的 非 线 性 最 小 二 乘 问题 写 出 高 斯 -牛顿 法 迭代 公式 的 具体 形式 . 


3. 设 m(z) =za 一 2 ra(z) 三 1 一 zayr(z) 一 (ri(z),ra(z))7， 





























jz) = pi(oj2 二 mo] 3r(zjrr(o， 


已 知 该 问题 min jz) 的 极 小 点 为 z = (1,1). 
(1) 对 于 任何 初始 点 zo, 写 出 按 如 下 牛顿 欠 代 公式 求 极 小 点 的 计算 步 又 : 








ZK+H1L 一 2 十 QKGQK 
友 三 一 [V2F(zp)]-1Vzp)， 大 一 0,1 
ap :zz 二 akdk) 王 Iminj 帮 zk 十 aap) 





(2) 斌 证明: 当 z 一 2 时 , V2 jz) 一 Vr(z)Vr(Z) 
4. 考虑 非 线 性 方程 组 : 








及 平方 和 函数 

















证 明 : z = (1.46557, 2.14790)7 是 jz) 的 全 局 极 小 点 , 并 且 是 非 线性 方程 组 的 解 ; z = 












































5， 设 zi,zs 分 别 是 方程 组 (474 + MDz = -4 1 = 12, 对 应 于 jpa 的 解 , 其 中 
ML>H1>04ERmxnreERm: 试 证 明 |4zs 十 7 上 < 14zi 十 了 2. 
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6， 利 用 L-M 方法 的 Matlab 程序 求解 




















22 一 2Z3 十 二 


1 .5 
min 帮 z) 三 5 (2 
让 1 
其 中 
mi(Z) 一 2 十 好 十 妇 一 1， ra(z) 一 ZI 十 Za2 十 Za 一 了 
ra(Z) 一 23 十 Z2 十 (zs 一 2)2 一 1， mda(z) 一 Z1 十 
r5(zZ) 一 23 十 3z2 十 (57z3s 一 Z1 十 1 一 36t， 


























残 量 , 比较 不 同 参数 的 计算 效果 . 
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t 是 参数 , 可 取 L 上 = 0.5,， 1，5 等 . 注意 上 = 1 时 , z* = (0,0,1)7 是 全 局 极 小 点 , 这 时 问题 为 零 


其 中 入 (和 li, X?， 二 和 交 ,入 ) 江 称 为 乘 子 口 量 . 
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8.1 “等 式 约 束 问题 的 最 优 性 条 件 
本 节 讨 论 的 最 优 性 条 件 适 合 于 下 面 的 等 式 约束 问题 


min Fo) 


st， ji(Z) 三 0 一 1 2 7. 





为 了 研究 问题 的 方便 , 我 们 作 问题 全 下 的 所 谓 拉 格 朗 日 函数 


7 


工人 Z,A) = 帮 Z) 一 >》 Xijuai(z)， 


?一 1 



































(8.2) 


下 面 的 拉 格 朗 日 定理 描述 了 问题 取 极 小 值 的 一 阶 必 要 条 件 , 也 就 是 所 


谓 的 KT 条 件 (Kuhn-Tucker 条 件 ). 


定理 36 ( 拉 格 朗 日 定理 ) 假设 z* 是 问题 的 局 部 极 小 点 ，j/(z) 


避 过 人) 风 二 了 


1 
JJ 是 YAO 一 看 
并 


证 记 
妃 = (VJa(z 9 Vja( Vi)). 
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入 (ZJ)G = 12 1) 在 ie 的 某 邻 域内 连续 可 微 . 若 向 量 组 Vilz*] (i 一 
12,.… ,1) 线性 无 关 , 则 存在 乘 子 向 量 六 一 (AD 入,X)7 使 得 
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定理 的 假设 知 五 列 满 秩 . 因此 , 若 ! = m 则 万 是 可 逆 方 阵 , 从 而 矩阵 五 的 列 
构成 及 ”中 的 一 组 基 , 故 存在 X* e 及 (! = m) 使 得 














1 
VE > YAO)， 
4 一 1 





此 时 结论 得 证 . 
下 面 设 ! < 7. 不 失 一 般 性 , 可 设 互 的 前 ; 行 构成 的 ; 阶 子 矩阵 刀 ;是非 奇 异 
的 . 据 此 , 将 互 分 块 为 
古 
也 三 


令 Y (全 二 5 5 和 二 (ZL ,大 ， 并 记 AZ) 一 (Ri(Z) ,7(Z))7 则 有 

















Po 2 三 0 且 j0z) 在 点 (车 ) 关于 % 的 Jacobi 矩阵 三 = Yo 关 ) 可 
逆 . 故 由 隐 函 数 定 理 可 知 , 在 关 附近 存在 关于 > 的 连续 可 微 函 数 y = v(z) 使 得 
几 (u(2),2) = 0. 
对 上 式 两 边关 于 z 求 导 得 
VyAu( 2 2Vu(2) 十 Vsh(u(z);2) 一 0， 
故 
Vu 人 (2 = 一 五 五 2 (8.3) 


在 关 附近 , 由 Au(z, 裤 三 0 知 兰 是 无 约束 优化 问题 
min UL2) >) 


2zERRn 一 ! 
的 局 部 极 小 点 , 故 有 
即 
Ver Vof)Vaj am)=0， 
注意 到 z* (yz), 将 恒 引 代入 上 式 得 
0 
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令 入 = 页- Vyj(z), 则 有 





Vyjz)= 太 VD ) = 万 入. 


两 式 合 起 来 即 


及 2 万 。 





























至 此 已 经 证 明了 定理 的 结论 ， 
为 了 讨论 等 式 约束 问题 的 二 阶 必要 条 件 , 需要 用 到 司 引 定义 的 拉 格 朗 日 函 
数 F(z, X) 的 梯度 和 关于 z 的 Hesse 阵 . 下 面 , 我 们 计算 出 它们 的 表达 式 如 下 : 


VI(z,A) = VzLoA | vyO 一 空 ANY 
VAZL(Z, 入 ) aa ) 























【7 
V27(z 一 V2Fz) 一》 XiV2juai(z). 
“三 


如 果 目 标 函 数 和 约束 函数 都 是 二 阶 连续 可 微 的 , 则 可 考虑 二 阶 充 分 性 条 件 . 





定理 37 对 于 等 式 约束 问题 个 . 圳 , 假设 Flz) 和 户 (z) (= 1,2,…… ,1) 都 是 
二 阶 连 续 可 微 的 , 并 且 存 在 (Zr, X*) E 了" x 腿 : 使 得 VEL(z* X* = 0. 车 对 任意 的 
0 天 deR" VicTrd =00=12 1 均 有 drV2 Fr Xd > 0 则 2* 是 
问题 的 一 个 严格 局 部 极 小 点 . 


























证 用 反 证 法 . 知 六 不 是 严格 局 部 极 小 点 , 则 必 存 在 邻 域 W(z* 0) 及 收敛 于 
2* 的 序列 {fzh 使 得 ze N(z5 0 人 天 2 且 有 





2 过 六 ZAh， Pi( ZN) = 0， 7 ) 太一 1 2， 


令 欢 一 太 十 oz 其 中 ax > 0， | 交 | = 1 序列 {(Qzy 2)} 有 子 列 收敛 于 (0, z) 
且 人 | = 
由 泰勒 中 值 公式 得 





U 三 ji( ZN) 二 ji(Z”) 一 QZ Vi 十 OOQR2)， 
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其 中 0 E (0,1). 上 式 两 边 同 除 以 ax, 并 令 有 一 co 得 


VHai(z7 一 0 一 1)2 (8.4) 





再 由 泰勒 展开 式 得 
了 (Zi 和) 一 也 (2 和) 十 akRVoD(Z 入 ) 十 oggV2.E(or， 入 ) 和 十 ofQz)， 
由 于 zx 都 满足 等 式 约 束 , 故 有 
0 过 jz 一 帮 zZ) 二 了 CPPA 一 和) 


1 
5a828V2L(z" X) 基 二 olag) 


上 式 两 边 同 除 以 ax/2, 可 得 


of2az ) 
OK 





2V2 (Ze XI2 十 < 0. 
对 上 式 取 极 限 (上 一 co) 即 得 


(27V2 DZ XI)2* 芭 0. 





由 于 z* 满足 司 吉 , 故 得 出 矛盾 . 因此 z* 一 定 严格 局 部 极 小 点 ， 











8.2 ”不 等 式 约 束 问题 的 最 优 性 条 件 
本 小 节 我 们 考虑 不 等 式 约束 优化 问题 的 最 优 性 条 件 : 


站 关 
(8.5) 
st gi(Z) 过 0, 一 12 770. 














记 可 行 域 为 了 = {z ee 到 "|g(z) > 0 = 1 2 ,0 指标 集 了 工 = {1 ,7 

\ 等 式 约 束 问题 的 最 优 性 条 件 需 要 用 到 所 谓 的 有 效 约 束 和 非 有 效 约 柬 的 概 
念 . 对 于 一 个 可 行 点 元 即 元 E 卫 . 此 时 可 能 会 出 现 两 种 情形 . 即 有 些 约束 函数 满 
足 9gi(2) = 0, 而 另 一 些 约束 函数 则 满足 9%i( 二 > 0. 对 于 后 一 种 情形 , 在 到 的 茶 个 
邻 域内 仍然 保持 %i( 相 > 0 成 立 , 而 前 者 则 不 具备 这 种 性 质 . 因此 有 必要 把 这 两 种 
情形 区 分 开 来 . 
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定义 17 若 问 题 的 一 个 可 行 点 元 E 了 使 得 gi(25) = 0, 则 称 不 等 式 约束 
9i(Z) 盖 0 为 亏 的 有 效 约 东 . 反之 ,， 若 有 gi(2) > 0, 则 称 不 等 式 约 束 gi(Z) 盖 0 为 
元 的 非 有 效 约束 . 称 集合 
7 四 = 全 :9 可 一 中 (8.6) 
为 无 处 的 有 效 约 束 指标 集 ， 简称 zx 处 的 有 效 集 (或 积极 集 ). 
下 面 的 两 个 引 理 是 研究 不 等 式 约束 问题 最 优 性 条 件 的 基础 ， 
引 理 11 (IFarkas 引 理 ) 设 w5iER 了 "一 1 7) 则 线性 不 等 式 组 





























8d>01i=17 deERR" 











与 不 等 式 
ard >0 
相 容 的 充 要 条 件 是 存在 非 负 实数 QQr， 使 得 Q& 一 光 oil 


?一 工 














证 充分 性 . 即 存在 非 负 实 数 ol …… ,ar, 使 得 a = as. 设 d e 了" 满足 
2 一 1 
dg>00G=1 ,7 门 .那么 有 
old=》 ai 
2 一 工 
必要 性 . 设 所 有 满足 Wu > 004 = 1 …,r) 的 向 量 d 同时 也 满足 ard > 0. 
用 反 证 法 . 设 结论 不 成 立 , 即 























agC={zeR"|z= >》 aib ai 过 0,7 三 1 上 
生 1 


设 oo EC 是 向 量 a 在 巴 锥 C 上 的 投影 , 即 








oo 一 all> = |z 一 al|>， 


则 有 oz (ao 一 ao) = 0. 
(1) 先 证 明 对 于 任意 的 pe C 必 有 (ao - wo) > 0. 事实 上 , 若 不 然 , 则 存在 


一 个 veEcC, 使 (ao 一 oj < 0. 人 za= 人 则 友 (ao -oao) = -7r,7 > 0. 注意 到 
已 


C 是 凸 锥 且 aoaecC, 故 ao 十 友 EC. 此 时 有 











lao 十 克 一 al 一 ao 一 al 上 = 一 王 <0， 
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这 与 ao 是 投影 的 假设 矛盾 , 故 必 有 (ao -ao) >0, YE C 
(2) 现 取 4d = ao 一 a. 由 于 六 EC 那么 由 () 的 结论 可 得 好 dg > 0. 故 由 必要 
性 的 假设 应 有 azd > 0. 但 另 一 方面 , 有 














ad = arlao-o=aroo-ao--ai(ao 一 oa) 


= 一 (ao 一 ao*(ao- 四 = 一 oo 一 al< 0， 




















这 与 假设 矛盾 , 必要 性 得 证 . 
下 面 的 Gordan 引 理 可 以 认为 是 Farkas 引 理 的 一 个 推论 . 














引 理 12 (Gordan 引 理 ) 设 玉 E 形 " (三 1 ,7 线性 不 等 式 组 














久 d< 0 =12 7 dgERR" (8.7) 











无 解 的 充 要 条 件 是 已 (= 1 …;,r) 线性 相关 ， 即 存在 不 全 为 0 的 非 负 实 数 
oil =1 7) 使 得 


>》 ob 一 0. (8.8) 
2 一 工 
证 充分 性 . 用 反 证 法 . 设 有 解 , 即 存在 某 个 do, 使 得 Wrdo < 0，; = 
1 ,r. 于 是 对 于 任意 不 全 为 0 的 非 负 实数 w (= 1 … ,站 有 六 ab < 0. 另 
2 一 | 
一 方面 , 由 充分 性 条 件 宋 ao =- 0, 矛盾 , 故 充分 性 得 证 , 


2 一 工 
必要 性 . 设 不 等 式 组 人 .四 无 解 . 故 对 于 任意 的 de 陈 ", 至 少 存 在 一 个 指标 ; 
满足 d>0. 记 反 = 了 ix{odj, 则 必 有 >0 上 且 





























DB0 一 1d >0, 1 一 1 7. 


下 面 我 们 构造 > 十 2 个 浆 十 1 维 向 量 : 


dg 0 一 必 


其 中 8 > Bo0. 那么 不 难 验证 上 述 向 量 满足 Farkas 引 理 的 条 件 , 即 
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且 mdg=8>0. 故 由 Farkas 引 理 , 存在 非 负 实数 al,……… ,ar, 使 得 


冰 
Q 一 y Qigi. 
1 一 | 





将 使 踢 代入 上 式 即 得 


SEE > 
1 一] ?一 

















必要 性 得 证 . 

下 面 的 引 理 可 认为 是 一 个 几何 最 优 性 条 件 . 

引 理 13 设 z* 是 不 等 式 约束 问题 的 一 个 局 部 极 小 点 ，T(z*) = 
{lgi(zr) = 0 = 1 假设 Fz) 和 gz)( ETz)) 在 z* 处 可 微 ， 
且 gi(z)GeANTrzO)) 在 太 处 连续 . 则 问题 的 可 行 方向 集 矿 与 下 降 方向 集 
G 的 交集 是 空 集 , 即 .上 maS= 王 凡 其 中 


























三 ={deRVoizrd>o0ierz SS={dsR 了 Yoz)7d < 0 (8.10) 








证 用 反 证 法 . 设 上 ngS 基 凡 则 存在 Ce.FnaSs=0. 显然 4 和 0. 由 .FS 的 
定义 及 函数 的 连续 性 知 , 存在 充分 小 的 正 数 所 使 得 对 任意 的 0< = 过 志 有 








有 人 用， 放 革 了) 和 





这 与 假设 矛盾 . 
下 面 我 们 给 出 不 等 式 约束 问题 的 一 阶 必 要 条 件 , 即 著名 的 KT 条 件 . 
定理 38 (KT 条 件 ) 设 z* 是 不 等 式 约束 问题 的 局 部 极 小 点 , 有 效 约 
束 集 T(z9] = {gi(z) = 0 一 1 ;70 并 设 Fz) 和 gzZ) 人 0 一 1 7 在 信 
处 可 微 . 车 向 量 组 Vgi(zr*)( ET(z)) 线性 无 关 , 则 存在 向 量 阅 三 (Ap No) 
使 得 














VON 一》A 必 Vol = 而 
?一 工 
遍 [ 区 之 而 大 训 丰 是 区 = 册页 


证 因 z* 是 问题 合 吕 的 局 部 极 小 点 , 故 由 引 理 [ 国 知 , 不 存在 de 了 R" 使 得 

















Vjz)7rd<0 ，Voilzrd > 0,7ET(z)， 
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即 线性 不 等 式 组 
Vjlz)7d<0，-Vo(z)7d<0 ieTzo) 


无 解 . 于 是 由 Gordqan 引 理 知 , 存在 不 全 为 0 的 非 负 实数 Hp >0 及 应 二 00E 
T(z”)), 使 得 





HoOVJZ) 一 HiVoi(Z ) 一 0. 
IET(z*) 


不 难 证 明 po 关 0， 事 实 上 , 若 mo = 0 则 有 交 HvVgi(z”) = 0, 由 此 可 知 


2ET(Z* 


Voilzo (ET(z9) 线性 相关 , 这 与 假设 矛盾 . 因此 必 有 1 > 0. 于 是 可 令 











2 








/0 
则 得 本 
Vj(o 一 >》XVoi(z =0 
生 1 
及 
gi(Z) 过 0， 入 二 0，X9i(2) 一 0 三 1 710. 
定理 得 证 . 




















8.3 ”一 般 约 束 问题 的 最 优 性 条 件 
我 们 现在 考虑 一 般 约束 优化 问题 的 最 优 性 条 件 : 


st ji( 轨 一 0 一 12 1 (8.1 了 











记 指 标 集 卫 三 {: 和 ) 1， 1 三 人 ,7 上 可 行 域 为 也 一 {2 和 四 12ai(Z1) 一 0， 7 E 
五 ,9i(Z) 过 0, 71E 7 

把 定理 B6| 和 定理 B3| 结合 起 来 即 得 到 一 般 约 束 问题 的 KT 一 阶 必要 
条 什 ， 
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定理 39 (KT 一 阶 必要 条 件 ) 设 六 是 一 般 约 束 问题 的 局 部 极 小 点 
在 Z* 处 的 有 效 约束 集 为 


9(Z) = 已 UTC = 三 U 人 oz =07ET (8.12) 


并 设 F(m，ja(oGe 本 和 yzlie 门 在 zx 处 可 微 . 若 向 量 组 Vjilzotie 




















古 ，Vgi(zs] (ie TUzo)]) 线性 无 关 , 则 存在 向 量 (Us Ne) E 了 x 及 m， 其 中 je 一 
(LT “ ) 入 王 (Ai …， 人 使 得 
ivaer )- ANYate 0， 
(8.13) 


ji 人 (ZI) 一 0,7E 五 ， 


注 3 (1) 称 个 .I 中 为 KT 条件, 满足 这 一 条 件 的 点 夺 和 KT 点 .而 把 
(z*, (0x;, X)) 称 为 KT 对 ,其 中 (Jo*, X*) 称 为 问题 的 拉 格 朗 日 乘 子 . 通常 KT 点 、 
KT 对 和 KT 条 件 可 以 不 加 区 别 的 使 用 . 

(2) 称 Xgi(z") =0(ieT(z)) 为 互补 性 松子 条 件 . 这 意味 着 六 和 9gi(zZ*) 中 
至 少 有 一 个 必 为 0. 若 二 者 中 的 一 个 为 0,， 而 另 一 个 严格 大 于 0, 则 称 之 为 满足 严 
格 互 补 性 松弛 条 件 . 





与 等 式 约束 问题 相仿 , 可 以 定义 问题 (1 的 拉 格 朗 日 函数 


工 (Z， 入 几 ) )- 并 ae 4 ) 一 2 Xi (8.14) 


不 难 求 出 它 关 于 变量 zx 的 梯度 和 Hesse 阵 分 别 为 

















VzZ(Z, 和) ) 开 ra -va 
V2 (z, 和 , J) )-or ji(Z )- > ;V20i(zZ)， 


与 定理 ?| 的 证 明 相 类 似 , 证 明 问题 的 二 阶 充分 条 件 : 
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定理 40 对 于 约束 优化 问题 18.1] 囊 , 假设 Flz), 9gi(z)(ieD) 和 户 (z)(ie 万 ) 
都 是 二 阶 连续 可 微 的 , 有 效 约 束 集 T(z*)] 由 所 定义 . 且 (zx, (Unr, AD)) 是 
问题 的 KT 点 .车 对 任意 的 0 了 de 了 Rn Voilzrd = 00 ET(z， 
Vilzr7rdg =00e 古 ), 均 有 dV2 Lo Xe)d > 0 则 太 是 问题 的 一 个 严 
格局 部 极 小 点 ， 


例 22 考虑 优化 问题 














min zz) 一 一 222 一 22， 
st 23 十 22 一 2 一 0， 
一 Z1 十 22 之 (U， 
2Z1 0，22 之 0. 


试验 证 z*= (1D7 为 KT 点 , 并 求 出 问题 的 KT 对 . 


解 计算 
一 4 2 一 1 
ve we- 
一 2 一 2 2 | 


一 421 
oo 
一 27a 
Vjz 一 AVAhz) 一 ANVo(z2) = 0， 


解 得 必 = -1.5, 半 一 1 再 令 站 = 妆 = 0 得 











3 
Vj) 一 AVAz) 一 2ANVogi) =， 


2 一 工 


这 表明 太 是 KT 点 , (2 (0 A)) 是 KT 对 , 其 中 /ii = 一 1.5, 入 = (1 0,0) 


一 般 而 言 , 问题 的 KKT 点 不 一 定 是 局 部 极 小 点 . 但 如 果 问 题 是 下 面 的 
所 谓 凸 优化 问题 , 则 KT 点 、 局 部 极 小 点 、 全 局 极 小 点 三 者 是 等 价 的 . 
下 面 首先 给 出 约束 凸 优化 问题 的 定义 . 


定义 18 对 于 约束 最 优化 问题 











| ji(Z) 二 2 (8.15) 
S 怀 . 


第 八 童 最 优 性 条 件 88.4 较 点 和 对 偶 问 是 








若 jz) 是 本 函数 , 记 (zJ(i 一 1 ,站 是 线性 函数 ，gi(Z)( 一 1 ,mm) 是 止 函数 
( 即 -9gi(z) 是 凸 函 数 ), 那么 上 述 约束 优 化 问题 称 为 西 优化 问题 ， 


定理 41 设 (z*,ji, X*) 是 凸 优化 问题 司 .18 的 KT 点 , 则 zr* 必 为 该 问题 的 
全 局 极 小 点 . 


证 因 对 于 凸 优化 问题 , 其 拉 格 朗 日 函数 
L 770 
DA = 一 >》 几 ia(z) 一 >》 Agi(z) 
二 二 并 
关于 z 是 凸 函数 . 故 对 于 每 一 个 可 行 点 zx, 我 们 有 


fj > Jo 一 2 ao 一 > Ag 


= 工人 ,AN 入 ) 
之 了 (ZN 入 ) 冰 VazP(Z”， 作 ， 入 ) (7 2 
= ZN) = 让 ). 











故 2 为 问题 的 全 局 极 小 点 . 





8.4 蒂 点 和 对 偶 问 题 
本 节 介绍 约束 优化 问题 的 鞍点 和 对 偶 等 有 关 概 念 . 首先 给 出 鞍点 的 定义 . 





定义 19 对 约束 优化 问题 l8.1 直 , 若 存 在 太 和 (HU 和)， 其 中 入 > 0, 满足 























厂 (2 和 A) 区 了 (2 区 也 (DA V(zA) ER x 玉 >x RT， (8.16) 





则 称 (z*，us, X) 为 约束 优化 问题 的 拉 格 朗 日 函数 的 鞍点 ， 通常 简称 z* 为 
问题 的 鞍点 . 


下 面 的 定理 表明 , 数 点 2 不 仅 是 KT 点 , 而 且 是 全 局 极 小 点 . 

















定理 42 设 (z*;, jx; X9] 是 约束 优化 问题 (11 的 鞍点 . 则 (zs 1 X*) 不 仅 
是 问题 (8.11 KT 点 ， 而且 是 它 的 全 局 极 小 点 . 
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证 由 鞍点 的 定义 Hg 可 知 六 是 





匡 退 艺 z,A 入 ) 


的 全 局 极 小 点 .由 无 约束 优化 问题 的 最 优 性 条 件 可 得 V。P(z*,jr, X) = 0, 这 就 
证 明了 约束 优化 问题 fs KT 条 件 的 第 一 个 式 子 
另 一 方面 , 再 由 鞍点 的 定义 可 知 Us, X*) 是 





max 了 (Z /入 
和 Xi0 (ED 站,AE 疏 ; 人 和 ) 


的 全 局 极 大 点 , 等 价 地 ，(A X) 是 


Imin 一 了 (ZL 入 
和 Xi>0(ET),AE 了 R! 人 ) 


的 全 局 极 小 点 .那么 由 定理 国 | 可 知 , 存在 乘 子 向 量 we = (of ,omjr(uty > 
0,i = 1,.… ,m) 使 得 








| ji(2*) = 0， 1 E 古 


从 而 太 是 问题 人 .1 了 的 可 行 点 , 且 Xigi(2) = 0 ie 故 人 (Ai 入 ) 满 足 (3.1 
的 KT 条 件 , 即 为 KKT 点 . 
进一步 , 由 鞍点 的 定义 , 对 于 问题 人 .1 的 任意 可 行 点 z, 我 们 有 


了 (ZNA 和 ) 区 了 工 (CA 和)， 
即 
7 IT 
jz)J< jz)- >》 县 i(z)- >》 Xiogi(z)< jz)， 
| 下 





从 而 xz* 是 问题 (ti 的 全 局 极 小 点 
上 述 定理 说 明 , 鞍点 一 定 是 KT 点 , 但 反之 不 一 定 成 立 . 然而 , 对 于 凸 优化 问 
题 , KT 点 、 鞍 点 和 全 局 极 小 点 三 者 是 等 价 的 . 我 们 有 





























定理 43 设 (Z9 hp X) 是 凸 优化 问题 的 KT 点 ， 则 (ZHUr 3) 为 对 应 的 拉 
格 朗 日 也 数 的 鞍点 ， 同 时 zi* 也 是 该 凸 优 化 问题 的 全 局 极 小 点 . 
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证 注意 到 对 于 串 优 化 问题 , 拉 格 衣 日 函数 








Fo 人 = 2 ar) 一 让 和 gifz) 








关于 7 是 凸 函数 , 故 由 凸 函数 的 性 质 (定理 | 示 , 有 











也 (DA 二 TAN 十 VD AT(Z 一 7) 


二 了 ZN)A)， 











即 EUzo jy X9 < 工 (z, je )). 另 一 方面 , 对 于 任意 的 (A,JJ) E Rm x 了 5 有 


TU- = 一 2 一 Jp) 一 > 一 Ag ) 


即 也 (zj 和 A) 区 也 (CA A 故人 (1 为 鞍点 , 同时 六 也 是 凸 优化 问题 的 
全 局 极 小 点 . 


下 面 讨 论 约束 优化 问题 的 对 偶 问 题 . 对 于 约束 优化 问题 (19， 我 们 引入 如 
下 记号 : 














G(z) = (9i(2) gm(2) ， (z) = (ia(z2) ja(O) 




















令 WERm, zeER' 定义 函数 


Z(22 裤 =jz) 一 GZ) 一 厂 (C) 


0(V, 2) 一 和 卫 (ZV) 2) 


易 知 0(y, >) 关于 (zy >) 是 凸 函 数 . 
约束 问题 的 拉 格 朗 日 对 偶 定 义 为 : 





(8.17) 


























| Imax 0( 2)， 


st VE 有 7 2 E 下. 
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88.4 鞍点 和 对 偶 问 题 








约束 问题 的 Wolfe 对 偶 定义 为 : 


Imax 了 (ZU 2)， 


st，VazZ(zV 2) = 0， 

















VE 展 ?，z E 


(8.18) 


注 4 上 面 的 两 种 对 偶 在 某 种 意义 上 是 一 致 的 ,事实 上 , 对 于 拉 格 朗 日 对 
偶 ,， 由 于 目标 函数 b(y,z) 本 身 就 是 拉 格 朗 日 也 数 关于 Z 的 极 小 值 , 所 以 显然 有 
Vaz(zb2 = 三 0 成立 .将 其 合并 到 拉 格 朗 日 对 偶 的 约束 当中 , 就 得 到 了 所 谓 的 


Wolfe 对 偶 . 


对 于 线性 规划 问题 和 凸 二 次 规划 问题 , 拉 格 朗 日 对 偶 将 会 有 更 为 明晰 


的 形式 . 我 们 看 下 面 例子 . 
例 23 设 有 线性 规划 问题 


min cz7， 
st，L47Z 王妃 


z 二 0. 
试 写 出 它 的 拉 格 朗 日 对 偶 . 
解 其 拉 格 朗 日 函数 为 
ZEz1 人 2 人 一 cz 一 zz 一 并 (4z 一 中 
对 上 述 函 数 关 于 z 求 极 小 . 令 
Volzyp2)==c--y 一 47z=0. 
将 其 代入 拉 格 朗 日 函数 得 


bz) 二 这 人 2 
ZE 民 7 
皇 int{(e 一 y 一 47272277 十 并 寺 


270 二 >. 
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注意 到 y = c- 47z > 0, 于 是 有 


max b7 2， 
(8.20) 
s.t，47z <c. 
这 就 是 线性 规划 问题 (8.19) 的 对 偶 规划 , 
例 24 设 二 次 规划 问题 
Imin zz 十 cf 


(8.21) 
st，L47z 艾 久 





其 中 忆 E Rnxn 对 称 正 定 ,4 E 了 mxn， 试 写 出 二 次 规划 问题 司 2] 的 对 偶 规划 














解 首先 写 出 该 问题 的 拉 格 朗 日 函数 为 
了 (ZU) 一 5z7Bz +crz 一 风 ( 人 一 47)， 


对 上 述 函 数 关 于 z 求 极 小 . 由 于 妃 对 称 正定 , 故 函 数 Z(z;,y) 关于 z 为 凸 函 数 ， 





VE 人 六 到 二 VE 
解 得 z 二 一 B-i(c+ 47 攻 . 将 其 代入 拉 格 朗 日 函数 得 





oo) = 这 Ze 
| 
三 in {(Bz 二 c++ .47 一 02 一 jy Bz} 
| 
| 
| 
间作 直人 有 有 154 骨 


工 工 
= (-0 一 4B-Tc7y 一 5 4B 4 包 一 jc 已 


心 


d= -0 一 4B-lc， 万 = 一 4B-147， 
则 有 





1 1 
OU) 一 5 DY 二 dy 一 5c 肆 
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注意 到 乘 子 向 量 y > 0, 因此 二 次 规划 问题 人 2 的 拉 格 朗 日 对 偶 是 





Iax 0 十 dy 一 工 cr 有 -lc 
2 2 
St， 2 芝 0. 
最 后 , 我 们 讨论 一 下 原 问 题 与 对 偶 问 题 的 目标 函数 值 之 间 的 关系 . 


定理 44 ( 弱 对 偶 定理 ) 设 元 和 (及 引 分 别 是 原 问题 和 对 偶 问 题 
的 可 行 解 . 则 有 0( 玉 习 < 帮 五 ). 


证 因 过 和 ( 太 习 分 别 是 原 问题 (ET 和 对 偶 问题 的 可 行 解 , 故 


087 引 = int{jz) 一 六 GD) 一 一 ()} 
学 . 贡 避 二 人 恒 网 二 和 帮 同 = 由 由 


























定理 得 证 . 





习题 8 


1， 验 证 元 = (2,1)7 是 否 为 下 列 最 优化 问题 的 K-T 点 : 





min jz)=(zi 一 3)2 十 (za 一 2)2， 


st 2 十 2Z2 妈 5， 





Zi 十 2zs 一 4 


21,2Z2 0. 





2， 对 于 最 优化 问题 : 


min jz) =4z1 一 3z2， 
8: 起 (21 3)? 上 Za2 才 | 之 0， 


4 一 21 一 Z2 过 0， 





3， 写 出 下 列 优 化 问题 的 KT 条 件 , 其 中 z E 开 "4 e 了 mx 万 E 月"xm， 
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第 八 章 “最 优 性 条 件 回 目录 8$8.4 
(1) min cz 
st 4z= 凡 
Z 过 0， 
(2) min 5 十 dz 
st 47 芝 bb， 
(3) min jz) 
st jji(zZ) 三 0,7=1 1 
gi(Z) 妈 0,1=1， , 7101 
9i(Z) 过 0 三 7ma1 十 1 7 


4.， 考虑 无 约束 优化 问题 min /zj, 设 六 为 当前 迭 
在 刀 处 的 一 个 下 降 方向 , 分 别 按 以 下 两 种 方法 构造 子 问题 
(D) VJzp)7d 
dd = 1 
VJ(zke)7d， 
st 民有 Nd =1， 
其 中 有 碎 对 称 正定 , 试用 KT 法 求解 (1), (2). 所 谓 KT 法 是 指 : 





Imin 
8. 萎 。 


Iain 


(2) 





























































































































最 优 性 条 件 、 巴 分 析 或 其 它 方法 判别 这 些 点 是 否 为 局 部 或 全 局 最 优点 . 
5.， 利用 KT 条 件 推出 线性 规划 
min > 一 c77， 
st 47 芝 bb， 
作 之 0 
的 最 优 性 条 件 . 
6， 设 二 次 规划 
min jz) = 32Z7 zz 十 crz， 
st 埃 六 
其 中 五 是 7 阶 对 称 正定 阵 , 和 矩 阵 4 行 满 秩 , 求 其 最 优 解 并 说 明 解 的 唯一 性 . 
7. 设 z* 是 问题 
min 过 一 cT7 
st AZz)=0,2>0 














的 可 行 点 , 且 存在 w*，, 使 得 


c 十 VAh(zr)i >0， (zc 二 VPCz za) 








. 130 ， 


先 求 问题 的 KT 点 , 然后 用 


失 代 点 ，VJ(zk) 关 0 为 确定 /z) 
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鞍点 和 对 偶 问 题 

















其 中 Pz) = (ja(z) ,六 (z))7. 证 明 z* 是 问题 的 KT 点 . 
8.， 考虑 Wolfe 问题 





4 
min jz) = 一 (zZ3 172 十 站) 和 3， 


3 
8 七。 021) 72)73 之 0， 3 二 生 





() 证 明 目 标 函 数 f(z) 是 可 行 集 8 上 的 凸 函 数 , 其 中 





9 = {(zt zayzs)7izi,zayza 过 0,za 妈 2}. 











(2) 试用 KT 条 件 求 此 问题 的 全 局 极 小 点 . 
9 给 定 线性 约束 优化 问题 












































fleo)= 这 va 
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其 中 aci( = 1 … ,mb 是 正常 数 . 证 明 目 标 函 数 的 全 局 极 小 值 为 : 


人 
从 


第 九 章 ” 神 函 数 法 











从 本 章 开 始 , 我 们 讨论 约束 优化 问题 的 求解 方法 . 首先 介绍 求解 约束 优化 问 
题 的 经 典 算法 一 罚 函 数 法 . 其 基本 思想 是 : 根据 约束 条 件 的 特点 将 其 转化 为 某 种 
惩 如 函数 加 到 目标 函数 中 去 , 从 而 将 约束 优化 问题 转化 为 一 系列 的 无 约束 优化 问 


题 来 求解 . 本 章 主 要 介绍 外 罚 函 数 法 、 内 点 法 和 乘 子 法 . 





























9.1 ”外 罚 函 数 法 
我 们 首先 通过 一 个 简单 的 例子 来 说 明 罚 函数 的 构造 . 
例 25 求解 约束 优化 问题 : 
min jz) 王 (2 一 1 十 (za 一 卫 2， 


St. 2Z1 十 22 三 1 工 . 


日 等 式 约束 得 zz = 工 一 21 代入 目标 函数 得 到 一 个 无 约束 的 单 变 量 极 小 











解 日 
化 问题 








min gzi) 一 (21 一 1 十 2 
其 全 局 极 小 点 为 刀 = 0.5, 从 而 得 到 原 问 题 的 全 局 极 小 点 为 袜 = (0.5,0.5)7 现 
在 要 使 构造 的 罚 函 数 P(z) 满足 
_ 三 一 省 ,三 
瑟 (z) 0U， 21 十 22 0， 
> 0， 2Z1 十 Z2 一 工夫 0， 














只 要 令 P( 四 = (zi+zo 一 12 即 可 . 现在 考察 目标 函数 和 上 述 罚 函数 的 组 合 
人 
(z1 一 1 十 (za 一 1)2 二 alzi 二 za 一 了 2 
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其 中 > 0 是 充分 大 的 正 数 , 称 为 罚 参 数 或 罚 因 子 . 求 这 个 组 合 函 数 的 极 小 点 . 








OP OPz,o) 








一 一 0 
DZz1 D7o ? 
防 =| 
村 
(1 十 a)Z1 十 a7o 一 1 十 0 
OZ1 十 (1 十 ojza 一 工 十 ca 
求解 上 述 方程 组 得 
四 =zm(oj= 2 
化 一 一 
和 和 2 十 1 


令 c 一 +co, 有 





1 工 \ 工 
(zi(o))za(o)) 一 (; 5) 三 :二 
这 样 , 我 们 就 从 无 约束 优化 问题 极 小 点 的 极限 得 到 了 原 问题 的 极 小 点 . 下 面 我 们 
将 这 种 思想 方法 推广 到 一 般 约 束 的 优化 问题 . 考虑 











min 上 帮 z)， 2 E 及 "， 
st ji(Z) 王 0，1E 互 ={11 外 (9.1) 
0i(Z) 之 0 ET = 人 7 








记 可 行 域 为 卫 = {zE 开 "| 琅 ( 四 =00e 瑟 ,oz >00GeD 刀 } 构造 罚 函 数 














FE 四 = 呈 a+ yninfogto (9.) 
和 增 广 目标 函数 
P(zo) = /zz) +aP(z)， (9.3) 





其 中 a > 0 是 罚 参 数 或 罚 因 子 ， 不 难 发 现 , 当 z EDP 时, 即 z 为 可 行 点 时 ， 
P(z,c) = jz), 此 时 目标 函数 没有 受到 额外 惩 避 ; 而 当 z 买 了 时 , 即 z 为 不 可 行 
点 时 ，P(z,c) > jz), 时 目标 函数 受到 了 额外 的 惩 避 . o > 0 越 大 , 受到 的 惩罚 越 
重 . 当 c > 0 充分 大 时 , 要 使 P(z,c) 达到 极 小 , 罚 函 数 P(z) 应 充分 小 才 可 以 . 从 
而 P(z,c) 的 极 小 点 充分 逼近 可 行 域 了 P, 而 其 极 小 值 自 然 充分 逼近 jz) 在 卫 上 
的 极 小 值 . 这 样 求解 一 般 约 束 优化 问题 就 可 以 化 为 求解 一 系列 无 约束 的 优 
化 问题 























min 已 (Z, ab)， 
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其 中 {ok} 是 正 数 序列 , 且 or 一 二 co 
从 例 B5| 可 以 看 出 , 当 c 一 co 时 ,，P(z,c) 的 极 小 点 z(c) 一 过 但 


65 填 3 加 1 
2 十 1 2 十 1 








Zi(O) 十 Za(a) 一 工 和 0， 





即 z(c) 和 了 , 也 就 是 说 z(c) 是 从 可 行 域 的 外 部 趋 于 产 的 . 因此 上 述 的 罚 函 数 法 
也 称 为 外 加 函数 法 (或 外 点 法 ). 


下 面 给 出 外 罚 函 数 法 的 详细 算法 步 又. 











算法 21 (外 罚 函 数 法 ) 
步 0 给 定 初始 点 Zo E 了 朴 ", 终止 误差 0 和 ss < 久 1. ol>07y>1. 令 有 :=1. 
步 1 以 zj 1 为 初始 点 求解 子 问题 














Im P(zokb) = Fz) 十 akP(z). (9.4) 


尼 芭 
令 其 极 小 点 为 ZK 
步 2 若 okPlzh) < 区 s, 停 算 ,输出 入 久 2K 作为 近似 极 小 点 
步 令 ak+l :一 YOK， 下 :一 到 十 1 转 步 1 . 

















注 由 上 述 算法 可 知 , 外 加 函 数 法 结构 简单 , 可 以 直接 调用 无 约束 优化 算法 的 
通用 程序 , 因而 容易 编程 实现 . 缺点 是 : (1) zx 往往 不 是 可 行 点 , 这 对 于 某 些 实际 
问题 是 难以 接受 的 ; (2) 罚 参 数 or 的 选取 比较 困难 , 取 的 过 小 , 可 能 起 不 到 “ 签 
罚 ” 的 作用 , 而 取得 过 大 则 可 能 造成 P(lz, on) 的 Hesse 阵 的 条 件数 很 大 , 从 而 带 
来 数值 技术 上 的 困难 ; (3) 注意 到 P(z) 一 般 是 不 可 微 的 , 因而 难以 直接 使 用 利用 
导数 的 优化 算法 , 从 而 收敛 速度 缓慢 . 


下 面 讨论 算 法 加] 的 收敛 性 . 我 们 首先 证 明 下 面 的 引 理 . 






































引 理 14 设 {zk} 是 由 算法 B] 产 生 的 选 代 序列 . 若 zx 是 子 问题 的 全 
局 极 小 点 ， 则 有 下 述 结论 成 立 : 


已 (CR GRID) 之 忆 (ZR Op)， (9.5) 
PUzkD 近 忆 (zh， (9.6) 
Zi 二 zz (9.7) 





第 九 章 。 罚 函 数 法 89.1 外 罚 函 数 法 


证 (1) 注意 到 OK 二 1 之 厅 k 全 0， 因此 有 











忆 (Zp+l， OHT1) 一 让 (ZpH1) 十 OpHIP(ZkHTD)， 
> jzeHi) 二 akP(zerl， 
一 万 (ZRHT OK) 之 忆 (Zp， Oh， 











即 成 立 . 由 题 设 zx, zk+l 分 别 是 P(z,ok) 和 P(z, ou) 的 全 局 极 小 点 , 故 有 


jzkH) 二 okpP(zpHi) 二 zhe) 十 oz 天 (zh)， (9.8) 
jzk) 二 apHP(zk) 二 ze) +akHP(zktl). (9.9) 
上 面 两 式 相 加 并 整理 可 得 





(而 本 三 人民 (T 全 GPUCN， 


印 


(ak+l 一 Ok)[P(Zp) 和 己 (Zk+1)] > 0， 
从 而 必 有 巨 (zh) - E(zxs) 0, 即 但是 成 立 . 最 后 , 由 人 .下 立即 可 得 





jzeH) 一 zk) > ok[P(zh) 一 P(zkpH) 二 0. 














证 毕 . 
下 面 我 们 给 出 算法 加 的 收敛 性 定理 . 


定理 45 设 {zk} 和 {ak} 是 由 算法 PH 产生 的 序列 , zz* 是 约束 优化 问题 
的 全 局 极 小 点 . 若 zk 为 无 约束 子 问题 提 . 和 的 全 局 极 小 点 ， 且 罚 参 数 ok 一 +oo， 
则 {zk} 的 任 一 聚 点 互 都 是 的 全 局 极 小 点 . 














证 设 zs 是 序列 {fzk} 的 一 个 聚 点 , 不 失 一 般 性 , 设 内 一 zc, 大 一 十 co. 由 
题 设 六 是 原 问 题 的 全 局 极 小 点 , 因而 必 为 可 行 点 , 故 有 P(z*) = 0. 下 面 分 两 步 
证 明 本 定理 的 结论 . 

(1) 先 证 zc 是 原 问 题 的 可 行 点 , 亦 即 瑟 (z) = 0， 事实 上 , 由 引 理 [ 引 知 
{P(zhiyop)} 是 单调 递增 有 上 界 的 序列 , 因此 极限 存在 , 设 为 P**. 此 外 , 注意 到 
{F(zb))) 也 是 单调 递增 的 , 且 



































jzp SPUop op) 三 7 
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即 序列 {jzs)} 也 收敛 , 记 其 极限 为 产 . 于 是 有 











dam okP(zh) 一 dam [P(ze cp) -za = Pe 天 





ok 一 十 co, 故 必 有 im P(zi 一 0. 由 己 的 连续 性 知 P(zs) = 0, 即 zc 是 可 
行 点 . 
(2) 再 证 ze 是 全 局 极 小 点 , 亦 即 fxzs) = jz 由 jz) 的 连续 性 及 


2 一 02 可 知 











风光 二 Eu 


注意 到 z* 是 问题 的 全 局 极 小 点 , 故 显然 有 lz*) < ftzee)， 从 而 flz) = /czn)， 
从 而 zee 为 原 问题 的 全 局 极 小 点 . 证 毕 . 


注 上 述 定理 要 求 算 法 的 每 一 欠 代 步 求 解 子 问题 得 到 的 zx 必须 是 无 约束 问 
题 min P(z, ou) 的 全 局 极 小 点 . 这 一 点 在 实际 计算 中 是 很 难 操作 的 , 因为 求 无 约 
束 优化 问题 全 局 极 小 点 至 今 仍然 是 一 个 很 困难 的 问题 . 故 算法 P|( 外 罚 函 数 法 
经 常 遇 到 迭代 失败 的 情形 是 很 正常 的 . 此 外 , 算法 站 |] 之 所 以 选用 okP(zx) < = 作 
为 终止 条 件 , 是 因为 

































































SA 




















lim okP(zh) 皇 im [PCze, op) 一 zilPs = 一 Fe =0 


的 缘故 . 


9.2 ”内 点 法 


1. 不 等 式 约 束 问 题 的 内 点 法 
内 点 法 一 般 只 适用 于 不 等 式 约束 的 优化 问题 : 

















| min 六 z)， 2 E 及”， 10) 


st gi(Z) 过 0，7 =1 770. 























记 可 行 域 了 = {zeRn" :oz)>01=1 ,mm 内 点 法 也 属于 罚 方 法 的 范畴 ， 
其 基本 思想 是 保持 每 一 个 迭代 点 zx 是 可 行 域 了 的 内 点 , 可 行 域 的 边界 被 筑 起 一 
道 很 高 的 “围墙 ”作为 障碍 , 当 迭 代 点 靠近 边界 时 , 增 广 目标 函数 值 又 然 增 大 , 以 
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示 “ 惩 罚 ”, 并 阻止 和 迭代 点 穿越 边界 . 因此 , 内 点 法 也 称 为 内 罚 函 数 法 或 障碍 函 
数 法 , 它 只 是 用 于 可 行 域 的 内 点 集 非 空 的 情形 , 即 








Do={zZER" :oz)>01=1 7 天 人 














类 似 于 外 罚 函 数 法 , 我 们 需要 构造 如 下 的 增 广 目标 函数 


瓦 (z,7T) = /z) 十 7 万 (7)， 





其 中 互 (z) 是 障碍 函数 , 它 需 要 满足 如 下 性 质 : 当 >z 在 Do 趋向 于 边界 时 , 至 少 有 
化 











一 个 gifz) 趋 癌 于 0, 而 瑟 (z) 要 趋向 于 无 穷 大 . 因此 可 以 取 约 束 函 数 的 倒数 之 和 
为 障 但 函数 可 满足 要 求 , 即 
< 个 
地 (三 三 
(z) 2 7 (9.1D) 
或 者 取 对 数 障碍 函数 本 
RE (9.12 
1 王 工 


参数 7 > 0 称 为 罚 因子 或 罚 参数 . 这 样 , 当 z 在 Du 中 时 , 豆 (z) > 0 是 有 限 的 ; 当 
2 接近 边界 时 , 豆 (z) -》 +co, 从 而 增 广 目标 函数 的 值 也 趋向 于 无 穷 大 , 因此 得 到 
了 严重 的 “惩罚 ”. 

由 于 约束 优化 问题 的 极 小 点 一 般 在 可 行 域 的 边界 上 达到 , 因此 与 外 罚 函数 法 
中 的 罚 因 子 mx ->》 +ee 相反 , 内 点 法 中 的 罚 因子 则 要 求 六 -》 0. 于 是 , 求解 问题 
就 可 以 转化 为 求解 序列 无 约束 优化 子 问题 : 

















Imin 克 (z;, 人 六 ) = jz) 十 元 万 (z). (9.13) 
现在 我 们 来 看 一 个 简单 的 例子 . 
例 26 用 内 点 法 求解 下 面 的 优化 问题 : 


mn 2271 十 32Z2， 
st 工 一 2z1 一 22 过 0. 





解 给 出 增 广 目标 函数 为 
瑟 (z,T) 一 2zl1 十 37zz 一 Tln(l 一 2z1 一 2 
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第 九 章 “ 罚 函 数 法 回 目录 89.2 
令 
0 472Z1 二 1 
zl 1 一 273? 一 2 
0 万 加 2772 
Dr 1 一 22? 一 2z 
由 归 .1 引 -人 (9.1 中 可 得 za = 3zl. 代入 (9.] 引 得 
2721 2721 
人 2z1 一 (3z1)2 和 112731 
即 
1121 一 27z1 一 1 = 0. 
解 得 
土 VT2 十 11 工 
2Z1(7T) 一 一 土 一 一 ,， (7 一 0). 
] V11 
自然 有 


Za(T) 一 32Z1(T) 一 本 记 (一 0). 


V11 








(9.14) 


(9.15) 


注意 到 目标 函数 的 表达 式 , 可 得 所 求 问题 的 全 局 极 小 点 和 全 局 极 小 值 分 别 为 


| 3 AN\ 了 
0 三 (一 一 王 , 一 一 王 ) ， 2) 三 20 十 325 三 三 V11. 
( V 开 -下 太 ) 1 到 





上 面 的 问题 比较 简单 , 可 以 将 子 问 题 min 瓦 (z,7) 最 优 解 的 解析 表达 式 求 出 
来 , 然后 对 加 参数 7 一 0 取 极 限 而 得 到 原 问 题 的 极 小 点 . 一 般 来 说 , 对 于 较 复 杂 











的 问题 , 只 能 用 数值 方法 来 求 子 问题 的 近似 全 局 极 小 点 . 
下 面 给 出 内 点 法 的 详细 算法 步骤 . 


算法 22 (内 点 法 ) 








步 0 给 定 初始 点 To E Do, 终止 误差 0<E < 娘 1 刀 >0ocE(01) 令 大 :一 1 


步 1 以 Zk-i 为 初始 点 求解 无 约束 子 问 题 人 .13j， 得 极 小 点 zh. 
步 2 若 有 元 瑟 (or) 区, 停 算 ,， 输出 入 久 人 作为 近似 极 小 点 . 
步 3 令 T1:= om 8K: 一 大 十 1 转 步 1 














注 由 上 述 算法 可 以 看 出 , 内 点 法 的 优点 是 结构 简单 , 适应 性 强 . 但 是 随 着 迭 
代 过 程 的 进行 , 如 参数 六 将 变 得 越 来 越 小 , 趋 癌 于 零 , 使 得 增 广 目标 函数 的 病态 
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性 越 来 越 严 重 , 这 给 无 约束 子 问 题 的 求解 带 来 了 数值 实现 上 的 困难 , 以 致 时 致 欠 
代 的 失败 . 此 外 , 内 点 法 的 初始 点 zo 要 求 是 一 个 严格 的 可 行 点 , 一 般 来 说 这 也 是 
比较 麻烦 甚至 困难 的 ， 


下 面 我 们 来 考虑 内 点 法 的 收 人 性 . 先 看 下 面 的 引 理 . 



































引 理 15 设 序列 {fzk} 由 算法 23 产生 , 且 每 个 zk 都 是 无 约束 子 问题 
的 全 局 极 小 点 . 那么 增 广 目标 函数 序列 { 囊 (zh 从)} 是 单调 下 降 的 ， 即 


克 (zkHDTHI) < 刀 (Zh 从 ). 
证 注意 到 zi 是 (z, mt) 的 全 局 极 小 点 , 且 由 算法 有 甩 31 区 亲 , 故 


豆 (zkHbTzti) 三 jzpti) 十 THI 瑟 (zzHl) 
人 

7 二 人 (0 

万 (zh 从 ). 





IAA _ JIA 





证 毕 

















F 面 的 定理 给 出 了 算法 区 3] 的 收 煞 性 . 





定理 46 设 f(z) 在 刀 上 存在 全 局 极 小 点 i* 且 内 点 集 Do 夭 轴 {(zh 人 六)} 
是 由 算法 P3] 产生 的 序列 . 若 KK 是 万 (Z; 帮 ) 的 全 局 极 小 点 且 { 人 } 中 0， 屠 人 么 {Zk} 
的 任 一 聚 点 亏 都 是 问题 的 全 局 极 小 点 . 





证 由 定理 的 条 件 , 有 ze Do CD 且 和 斑 是 /xz) 在 上 的 全 局 极 小 点 . 
故 有 jz*) < jz 冬 五 (om 即 序列 { 瑟 (ze 从 )}》 有 下 界 ， 于 是 由 引 理 [ 知 
im 玖 (zi 你 ) 存在 , 不 妨 记 为 万 *. 

下 面 证 明 刀 * = jz)， 事 实 上 , 显然 有 瑟 * > jz ， 以 下 只 需 证 明 刀 * < 
ffon) 由 z) 的 连续 性 可 知 , 对 于 任意 的 = > 0, 存在 5 > 0 使 得 满足 |5_zr| < 
6 的 却 EDo, 有 





























帮 动 一 帮 Z) < <. 
又 因 {m} + 0, 故 对 于 上 述 的 s 和 天 存在 正 数 和, 使 得 当天 > io 时 , 有 





大 玖 (2 刀 E 
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注意 到 zx 是 五 (z, 从) 的 全 局 极 小 点 , 即 有 





万 (Zi 从) 抑 万 (元 , 从). 


这 样 , 我 们 有 





如 (ziTp) 一 ) 生 万 (Ti) 一 及 2 


令 s 一 0 并 对 上 式 取 极 限 , 即 得 瑟 "< jc 从 而 于 = 7z). 最 后 , 对 不 等 式 


jz Shi) 苹 万 (Zp 人 ) 














取 极 限 得 im Jp) = 2 ). 
2. 一 般 约 束 问 题 的 内 点 法 
现在 , 我 们 考虑 一 般 约 束 优化 问题 














min Fo)， 了 ERn， 
st，jPi(Z) 王 0， 王 1 1 (9.16) 
9i(Z) > (0， 2 三 二， ) 7 儿 





内 点 法 特征 的 罚 函 数 方法 . 途径 之 一 是 对 于 等 式 约束 利 用 “外 罚 函 数 ” 的 思想 ， 
而 对 于 不 等 式 约 束 则 利用 “障碍 函数 ”的 思想 , 构造 出 所 谓 混合 增 广 目标 函数 














Fe 六 =Ja+ 元 MO+AD (017) 
Fe 由 =JG+ 寺 于 居 四 -4 Dllol (9.3) 

















于 是 可 以 类 似 于 内 点 法 或 外 罚 函 数 法 的 算法 框架 建立 起 相应 的 算法 . 但 由 此 建立 
的 算法 的 初始 点 的 选取 仍然 是 个 困难 的 问题 ， 








一 
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min 2Z)， 2 E 月 "， 
s.t， Ai(Z) = 0， 1 一 1 1， 
(9.19) 
gil(ZD) 一 中 =0，7 三 1 7 
5Umi 之 (0， ?2 二 上 |， ) 77 
然后 构造 等 价 问题 {5 中 的 混合 增 广 目标 函数 : 
IT70 
| 
Wo J = 矿 Z) 十 区 >》 有 展 (z) 二 可 [pi(z) 一 网 +A》 一， (9.20) 
2 一 | 2 一 7 1 一 1 “? 
或 
1 1 1 770 77 
2 
外 (全 太阳 三 天 人 轨 二 到 >》 及 (z) + 到 >》 [pz)- 网 ->》 Iny (9.21) 
记 1 记 1 记 1 





在 此 基础 上 , 类 似 于 前 面 的 外 如 函数 法 与 内 点 法 的 算法 框架 , 可 以 建立 起 相应 的 
求解 算法 . 值得 说 明 的 是 , 此 时 , 任意 的 (z, 轨 , y > 0 均 可 作为 一 个 合适 的 初始 点 
来 司 动 相 应 的 友 代 算法 . 








9.3 “ 乘 子 法 


乘 子 法 是 Powell 和 Hestenes 于 1969 年 针对 等 式 约束 优 化 问题 同时 独立 提 
出 的 一 种 优化 算法 , 后 于 1973 年 经 Rockfellar 推广 到 求解 不 等 式 约 束 优 化 问 
题 . 其 基本 思想 是 从 原 问 题 的 拉 格 明日 函数 出 发 , 再 加 上 适当 的 如 函数 , 从 而 
将 原 问题 转化 为 求解 一 系列 的 无 约束 优化 子 问 题 . 由 于 外 罚 函 数 法 中 的 罚 参 数 
ok 一 十 co, 因此 增 广 目标 函数 变 得 “ 越 来 越 病态 ”. 增 广 目标 函数 的 这 种 病态 性 
质 是 外 加 函数 法 的 主要 缺点 , 而 这 种 缺陷 在 乘 子 法 中 由 于 引入 拉 格 朗 日 函数 及 加 
上 适当 的 加 函数 而 得 以 有 效 的 克服 . 


1. 等 式 约 束 问 题 的 乘 子 法 
考虑 等 式 约束 优化 问题 






































| min 万 Z)， [922) 
st. 几 (Zz) =0， 
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其 中 几 z) = (ja( ,ja(Z)). 记 可 行 域 卫 = {zeBR"|A(z) = 0} 则 上 述 问 题 
的 拉 格 朗 日 函数 为 




















Z(z, = jz) 一 入 jh)， 


其 中 入 = (X…，,X)7 为 乘 子 向 量 . 设 (z", X) 是 问题 的 KT 点 , 则 由 最 
优 性 条 件 有 





VzZzZ OA) 一 0，VAD NAN) = 一 (2) =0. 
此 外 , 不 难 发 现 , 对 于 任意 的 zeD, 有 


ZX) = <Az)=Jz) 一 (ON) pz)= 工 2 和) 





上 式 表 明 , 若 已 知 乘 子 向 量 X, 则 问题 位 2 了 可 等 价 地 转化 为 





| min 元 (Z, 和 )， [9.23) 


s.t. 六 (Z) = 0. 








可 以 考虑 用 外 罚 函 数 法 求解 问题 (3 引 , 其 增 广 目标 函数 为 
V(z, Xea) = Lo AD) 十 ac) 


可 以 证 明 , 当 c > 0 适当 大 时 , z* 是 V(z, Na) 的 极 小 点 . 由 于 乘 子 六 事先 并 不 
知道 , 故 可 考虑 下 面 的 增 广 目标 函数 








V(z,Xa) = (为 十 了 aa 
= Jo) -az) To (9.24) 
可 以 这 样 操 作 : 首先 固定 一 个 入 = 和 , 求 V(z, Ac) 的 极 小 点 元 然后 再 适当 改变 和 


的 值 , 再 求 新 的 元 直到 求 得 满足 要 求 的 六 和 入 为 止 . 具体 地 说 , 我 们 在 第 天 次 
和 迭代 求 无 约束 子 问 题 min W%(z, Ak,a) 的 极 小 点 zx 则 由 取 极 值 的 必要 条 件 , 有 

















VawW(ZA 入 K， O) V JUzZH) VA(ZE)[Xz 0 用 (ZE)] 王 用 . 
而 在 原 问题 的 KT 点 (z* NS) 处 有 
VzOI 一 VAN 一 0，Hz) =0. 
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我 们 的 目的 自然 希望 {fzi} 一 2, 且 {Xx} 一 六. 于 是 将 上 面 两 式 相 比较 后 , 可 取 
乘 子 序 列 {Ak} 的 更 新 公式 为 


入 1 1 王 入 j 一 OA 人 (ZK). (9.25) 


由 上 式 可 以 看 出 {Xx} 收敛 的 充 要 条 件 是 {z(zh)} 一 0. 下 面 我 们 证 明 六 (zx) = 0 
也 是 判别 (zkx;, Xk) 是 KT 对 的 充 要 条 件 . 


定理 47 设 无 约束 优化 问题 








min %(z, Xwya) 一 工 (z, Xe) 十 下 (9.26) 
的 极 小 点 为 zk. 则 (zh, Ah) 是 的 KT 对 的 充 要 条 件 是 hzk) = 0. 


证 必要 性 显然 . 我 们 证 明 充 分 性 . 因为 zx 是 的 极 小 点 , 且 hzh) = 0. 
则 对 任意 的 可 行 点 zeE={zE 了 BR"|Az)=0} 有 




















JIZ) =W(D AI) 二 We AI) 一 DR 
即 zx 是 的 极 小 点 . 另 一 方面 , 注意 到 zx 也 是 的 稳定 点 , 故 有 











上 式 表明 X 是 相应 于 zx 的 拉 格 朗 日 乘 子 向 量 , 即 (zk, Xw) 是 问题 位 到 的 KT 
对 . 证 毕 . 

基于 上 述 讨论 , 我 们 给 出 求解 等 式 约 束 问 题 的 乘 子 法 的 详细 步骤 如 
下 (由 于 该 算法 是 由 Powell 和 Hestenes 首先 独立 提出 来 的 , 因此 也 称 之 为 PH 算 
法 ): 





























算法 23 PH 算法 

步 0 选取 初始 值 . 给 定 To E Rn" Xi ER ol>00<es< 娘 10Ee(01D)， 
1 >1. 令 友 :=1. 

步 1 求解 子 问题 . 以 zh _1 为 初始 点 求解 无 约束 子 问题 的 极 小 点 2 : 

















minw(z, Xe, ob) 一 jz) 一 AR(Z) 二 学 Ia(z)|2 (9.27) 


步 2 检验 终止 条 件 . 若 |h(zn)|| < <, 停工， 输出 闪 作为 原 问题 的 近似 极 小 
点 ; 否则 , 转 步 3. 
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令 


步 3 更 新 罚 参 数 ， 和 中 Ra(zz)|| > 2 P(ZK1)||， 令 OK+L :二 71OK) 否则 ， OK 二 1 :一 


步 4 更 新 乘 子 向 量 . 令 AHl 入 一 OKA(ZK). 
步 5 令 有 := 大 十 1 转 步 1 


下 面 我 们 来 看 一 个 简单 的 例子 . 
例 27 用 乘 子 法 求解 约束 优化 问题 


S. 怀 . 必 2 一 一 工 . 


| min jz) = 好 一 友 





解 首先 写 出 所 求 问 题 相 应 于 乘 子 法 的 增 广 目标 函数 : 
(ZXa) 一 好 一 23 一 X(za 十 1) 十 了 (23 十 J)” 


二 2 人 
二 到 + (5 


人 


O7z1 ? Dzo 


对 于 > 2, 解 上 述 关 于 zi 和 zs 的 二 元 一 次 方程 组 得 稳定 点 


注意 到 约束 条 件 za = -1, 可 得 入 = 2. 从 而 元 = (0, 一 1 并 = 太 . 
从 上 面 的 例子 可 以 发 现 , 乘 子 法 并 不 要 求 罚 参数 co 趋 于 无 穷 大 , 只 要 求 它 





可 1 
II 一 2 


























于 某 个 正 数 即 可 . 下 面 我们 从 理论 上 来 证 明 这 一 事实 ， 











-了 中 +(r 一 为 zz 一 入 -了 





大 


引 理 16 已 知 天 阵 [FE 了 "xm 9 E 月"xm， 则 对 任意 满足 S77 = 0 的 非 零 向 
量 z 都 有 zZ7UzZ > 0 的 充 要 条 件 是 存在 常数 orx > 0, 使 得 对 任意 的 ma > ar 有 ， 




















ZL Ta3S977 > 0，V0 天 ZE 要 ". 
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证 充分 性 是 显然 的 . 注意 到 57z = 0, 立即 有 





ZU7 一 ZUZ+az5517 一 ZI+a3957)7 > 0. 





必要 性 . 注意 到 , 关 存 在 常数 c*” > 0, 使 得 











2Z7(I 上 +a*9577 >0，V0 天 ZE 有"， 








则 任 取 ec > o*, 恒 有 








ZL( +a3S907z >27(+a957)7z>0，V0 关 ZE 了 Rn" 








以 下 只 需 证 明 上 述 e 的 存在 性 . 事实 上 , 肴 这 样 的 o 不 存在 , 则 对 任意 的 正 整 
数 及, 必 存 在 向 量 zx 且 | zx|| = 1, 使 得 








zt(U 十 5935S7)zk < 0. 


{zx} 是 有 界 序列 , 故 必 有 收敛 的 子 序列 ( 仍 记 为 它 本 身 )， 其 极限 为 坟 切 
上 | = 工 那么 , 对 上 式 取 极 限 , K -yco, 得 


人 1 人 十 lim 天 5222 < 0. 
下 一 co 


由 此 , 必 有 |S7 zz|| 一 13 全 = 0( 人 否则 丰 S zx 性 一 oo) 同时 个 VS 0, 这 与 
必要 性 的 条 件 矛 盾 . 证 毕 . 























定理 48 设 等 式 约束 优化 问题 的 KT 点 (z*, X) 满足 二 阶 充 分 性 条 
件 (参见 定理 四 , 则 存在 一 个 o* > 0, 对 所 有 的 o > o*, xi* 是 增 广 目标 函数 
(zz, X*,o) (由 所 定义 ) 的 严格 局 部 极 小 点 . 进一步 ， 若 ]( 直 = 0, 且 天 对 
某 个 入 是 W(Z;, 和 XI) 的 局 部 极 小 点 , 则 天 也 是 问题 的 局 部 极 小 点 . 
证 注意 到 wW(z,X,a) = 二 ZX ) 十 宁 |A(z)|2， 求 其 梯度 和 二 阶 导数 得 
VaV(Z 和 XI) 二 VzP 和) 十 ICVAD AZ 
V2Wp(2n NI) 一 V21(0z X*) 十 VPR(ZJVR(ZS 7 


由 二 阶 充 分 性 条 件 知 , 对 每 个 满足 民 VA(z) = 0 的 向 量 g 和 关 0, 有 








dV27(0z Nd > 0. 
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于 是 由 引 理 |16| 知 , 存在 o* > 0 使 得 当 c > oo 且 居 0 时 ,有 








d7V2b(zr Nd = dr[V2D(zr 9 十 aVRhzJVhtzzrld > 0. 


再 由 二 阶 充分 性 条 件 知 , VZ(z* X*) = 0, pz*) = 0. 故而 有 





VauV(Z AI) =VoDC XI) 一 0， 








这 表明 增 广 目标 函数 Vw(z, X*o)j(o > co 在 驻 处 满足 二 阶 充分 性 条 件 , 故 由 定 
理 ?? 可 知 , z* 是 V(z, X* ao) 的 严格 局 部 极 小 点 . 这 就 证 明了 定理 的 第 一 个 结论 . 

下 面 我 们 来 证 明 第 二 个 结论 . 若 如 ( 坟 = 0, 且 厌 对 某 个 入 是 V(z, X,c) 的 局 
部 极 小 点 . 则 对 任意 与 元 充分 靠近 的 之 ( 即 AZ2) = 0)) 有 
































上 式 表 明 , 对 于 玉 的 某 个 邻 域 中 的 任意 可 行 点 人 均 有 /zi) < 2 即 天 是 问题 
的 局 部 极 小 点 . 证 毕 . 

2. 一 般 约 束 问 题 的 乘 子 法 

下 面 我 们 考虑 同时 带 有 等 式 和 不 等 式 约 束 的 优化 问题 的 乘 子 法 : 























Imin 上 帮 Z)， 
s.t， Ai(Z) 一 


9i(Z) 之 


三 |: 有 (9.28) 


0， 
0 一 1 





站 


基本 思想 是 把 解 等 式 约束 优化 问题 的 乘 子 法 推广 到 不 等 式 约束 优 化 问题 , 即 和 
| 进 销 助 变量 把 个 等 式 约束 化 广 等 式 约 豆 ， 然后 再 利用 最 优 性 条 件 消 去 辅助 变 
. 为 叙述 的 方便 计 , 我 们 先 考 虑 如 下 只 带 有 不 等 式 约束 的 最 优化 问题 


Imin 矿 Z)， 
st 9i(Z) 过 0, 1 三 1 10 


LI 








柄 [ 
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引进 辅助 变量 友 (= 1 7) 可 以 将 上 面 的 优化 问题 化 为 等 价 的 等 式 约束 优 
化 问题 : 











min 六 D)， 
st 0i(Z) 一 迪 王 0 一 1 .77 
利用 算法 世 求 解 , 此 时 增 广 拉 格 朗 日 函数 为 
Wo = Ng 一 殉 + 二 > oo 一 史 ? 
2 一 | 


2 一 | 
为 了 消去 辅助 变量 %, 可 考虑 罗 关于 变量 y 的 极 小 化 . 由 一 阶 必要 条 件 , 令 
VV(zy， 入 ,0) 二 0 可 得 











2VWXi 一 2auiloi(Z) 一 2 一 0， ;1 一 | ,IT 
即 
Upilc 凡 一 (cgi(z) 一 Xi]] = 0 一] 7 
故 当 cgi(z 一 X >0 时 ,有 
1 1 


史 汪 了 [cgi(z) 二 Ai 一 9Ii(Z) 一 了 全 





否则 ， 由 0 朱 [和 ; 一 0gi(Z)] 之 0 可 推 得 4 三 0. 综合 起 来 ， 有 


1 
2 加 
PE 1 一 77 
0， 0gi(Z) 上 和 Ai 艾 0， 
即 有 
2 adgi(Z) 一 Ai > 0， 
gilzZ) 一色 = 1 7 i 一 17. (9.29) 
9gi(Z)，agi(Z) 一生 0， 


因此 , 当 cogi(z 一 X <0 时 ,我们 有 
-Xi 网 二 5 一 绚 ? 
写 [gz 


全 四 [(coi(z) 三 》) 二 X|. 


一 一 Xi9i(Z) 十 
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CI 
一 il9i(Z) 四 亲 十 了 [lgi(2) 恒 员 | 
1 1 1 
0 
厅 3 2 20 2 


综合 上 述 两 种 情形 , 有 





-Xe 一 烈 + 一列 = 元 (minfooofo 一 呈 )， 


将 其 代 回 到 ww(z,w A, ec) 中 去 得 


bz, 0) = miny%(z) 纺 2o 
2 


(9.30) 
一 jz) 十 元 (mantu oagi(Z) 一 Xi 一 如) 
于 是 , 将 代入 乘 子 迭 代 公 式 (Ashi = (Ahji 一 5[o(zh) 一 (or) 人 得 
0， 0gi(Zk) 一 (和 r)i > 0， 
(As+lhi 三 
(Ai 一 GZ oagitzm 一 (Abji 0， 
即 
(Ai 一 Iax{0,(Aoi 一 90i(Zp 过 0， 三 1 7 (9.31) 
同样 , 在 终止 准则 
1/2 
(>wleb -Go) <e 
中 代入 人 到 得 


(二 | min {otzn， | 】 < E. (9.32) 


现在 我 们 回 到 一 般 约 束 优化 问题 (3 引 , 我 们 来 构造 求解 位 ?到 的 乘 子 法 . 
此 时 , 增 广 拉 格 朗 日 函数 为 





Vi No) = Jo- > ua) 二 下 
绽 : (9.33) 


+ 二 (minfo cgi(Z) 一 Xi 一 六) 
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乘 子 欠 代 的 公式 为 


训 
Rs 


(Ai+ Wi 一 CRai(ZRh)， 4 二 5 ) 
(AD 三 maxf{0,(Apji 一 0i(zZ 一 1 770. 





少 





厌 王 (> 十 人 | min {g(en， 、， | ) (9.34) 


汪 尘 
则 终止 准则 为 
大 区. 

下 面 给 出 求解 一 般 约 束 优化 问题 (9.28) 乘 子 法 的 详细 步 又. 由 于 这 一 算法 
是 由 Rockfellar 在 PH 算法 的 基础 上 提出 的 , 因此 简称 为 PHR. 算法 . 

算法 24 PHR 算法 

步 0 选取 初始 值 . 给 定 Z0 E 展 "，HJ E R,， 和 1 ERm,aol>00<s 扫 1， 
ed(0,1),7>1. 令 :=1. 

步 工 求解 子 问题 . 以 ZK1 为 初始 点 求解 无 约束 子 问 题 





















































Imin W(Z， LE， 入 1 Op)， 


得 极 小 点 2， 其 中 轧 (Z Mk Ap ap) 由 定义 . 

步 2 检验 终止 条 件 . 若 记 <s, 其 中 记 由 定义 , 则 停止 选 代 , 输出 zx 
作为 原 问 题 的 近似 极 小 点 ; 否则 , 转 步 3. 

步 3 更 新 罚 参 数 . 若 所 > 0 令 op: 一 Top; 否则 ， ak+l :一 ok. 

步 4 更 新 乘 子 向 量 . 计算 


(Li 三 (UN 一 IAA 1 
(和 ApT1J); 一 Iax{0， (和 Re); = 90i(ZD) 上 ， 小 宇 二 ， 人 





步 5 令 大 :一天 十 1 转 步 十 


9.4 “ 乘 子 法 的 Matlab 实现 


本 小 节 我 们 给 出 算法 B4(PHR 乘 子 法 ) 的 Matlab 通用 程序 , 然后 利用 该 程 
序 求解 一 个 简单 的 约束 优化 问题 . 
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程序 15 (PHR. 算法 程序 ) 


function [x,mu,1Lambda,output]=multphr(fun,hf,gft,dqfun,dqhf ,dgf,x0) 
% 功 能 : 用 乘 子 法 解 一 般 约 束 问题 : min f(x) ，s.t. hx)=0，g(x)>=0 
% 输 入 : x0 是 初始 点 ，fun，dfun 分 别 是 目标 函数 及 其 梯度 ; 
% hf，dhf 分 别 是 等 式 约 束 《 向 量 ) 函数 及 其 Jacobi 和 矩阵 的 转 置 ; 
%  gE，dgf 分 别 是 不 等 式 约 束 《 向 量 ) 函数 及 其 Jacobi 和 矩阵 的 转 置 ; 
% 输 出 : x 是 近似 最 优点 ，mu，1lambdqa 分 别 是 相应 于 等 式 约 束 和 不 
% 等 式 约束 的 乘 子 向 量 ; output 是 结构 变量 ， 输 出 近似 极 小 值 f， 闪 
% ， 代 次 数 ， 内 和 迭代 次 数 等 
maxk=500;  % 最 大 迭代 次 数 
sigma=2.0; % 罚 因子 
eta=2.0; theta=0.8;  %PHR 算 法 中 的 实 参 数 
k=0; ink=0;  %k，ink 分 别 是 外 迭代 和 内 和 迭代 次 数 
epsilon=le-5; 终止 误差 值 
X=X0; he=feval(hf ,x) ; gi=feval(gf,x) ; 
Dn=JIength(x) ; 1=length(he); m=JIength(gi) ; 
% 选 取 乘 子 向 量 的 初始 值 
mu=0.1*kones(1,1); 1ambda=0.1*xkones(m,1) ; 
btak=10; btaold=10; % 用 来 检验 终止 条 件 的 两 个 值 
While(btak>epsilon & KK<maxK) 
% 调 用 BFGS 算 法 程序 求解 无 约束 子 问 题 
[x,ival,ik]=bfgs('mpsi ,dmpsi),x0,fun,hf,gf,dqfun,dqhf,dqgf,mu,1Iambdqa,sigma) ; 






















































































IDnKX=:inK+ik; 
he=feval (hf,x); gi=feval(Cgft ,X) ; 
btak=0.0; 
for(i=1:1)，btak=btak+he(i) ”2; end 
for(i=1:my) 
temp=min(Cgi(i) ,Lambda(i)/sigma) ; 
btak=btak+temp “2 ; 
end 
btak=sqrt(btak) ; 
If btak>epsil1on 
if(k>=2 《& btak > thetakbtaol1d) 
SiIgma=etakSlgma; 
end 
% 更 新 乘 子 向 量 


for(i=1:1)， mu(i)=mu(i)-sSigmakhe(Ii); end 
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for (I=1:m) 
Jambda(i)=max(0.0,1ambda(i)-sigma#kgi(Ci)) ; 
end 
end 
攻 =K+1T ; 
btao1ld=btak ; 
XO= 广 ; 
end 
f=feval(fun,x) ; 
output .ffval=T; 
output .Iter=kK; 
output . Inner_iter=ink; 
output .bta=btak ; 
的 的 的 ppp 加 久久 扩 扩 为 为 办 广 拉 格 朗 日 画 数 2%%333 基 和 攻 攻 和 攻关 区区 33 区 的 
function psi=mpsi(x,fun,hf,gf,dqfun,dqhf,dqgf,mu,Lambda,sigma) 





f=feval(fun,x); he=feval(hf,x);  gi=feval(gf,x) ; 
1=1length(he) ; m=JIength(Cgi) ; 
psi=f; SS1=0.0; 
for(i=1:1) 
psi=psi-he(i)*kmu(I) ; 
s1=s1+he(I) ”>2; 
end 
Psi=psi+0.5*kSligmakSsl; 
S2=0.0; 
for (i=1:m) 
S3=max(0.0，JLambda(i) - Sigmakgi(I) ) ; 
SsS2=S2+S3”`2-1ambda(i) > 2; 
end 
psi=psi+s2/(2.0*kSigma) ; 
XXXXXX%XXXXX% 增 广 拉 格 庆 日 函数 的 梯度 %M2333 区 区 区 区 区区 2 区区 
function dqpsi=dmpsi(x,fun,hf,gf,dqfun,dqhf,dqgf,mu,1Iambda,sigma) 





dpsi=feval(dfun ,X) ; 

he=feval(hf,x);  gi=feval(gf,X) ; 

dhe=feval(dqhf,x); dgi=feval(dgf ,X) ; 

1=1length(he) ; m=JIength(Cgi) ; 

for(i=1:1) 
dpsi=dpsi+(Sigmakhe(i)-mu(I))*kdhe(: ,II) ; 
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end 
for (i=1:m) 
dpsi=dpsi+(Sigmakgi(i)-Iambda(i))#kdgi(:，,I) ; 


end 
例 28 利用 程序 [5 求解 约束 优化 问题 
Imin jz) = (zi 一 2)2 十 (za 一 1)2 


s.t. 2Z1 一 222 十 上 王 0， 
0.25z1 十 Z2 < 1 


取 初 始点 为 0 = (3,3)7， 该 问题 有 精确 解 zr = (5(V7- 1,z(V7+D) 


A (0.82288,0.91144)7，j(z)] = =-(V7 一 5 十 (V7 一 3) ”= 1.39346. 


16 
解 先 编制 目标 函数 文件 位. 





function f=f1l1(x) 
f=(xX(1)-2.0)”2+(x(2)-1.0)>2; 


等 式 约束 函数 文件 hlam 


function he=h1(x) 
he=Xx(1)-2.0*Xx(2)+1.0; 


不 等 式 约 束 函 数 文件 gl.m 


function gi=gl(X) 
gi=-0.25#X(1) >“2-X(C2) >“2+1; 


目标 函数 的 梯度 文件 dfl.m 


function g=df1(Xxy) 
g=[2.0*(x(1)-2.0)，2.0*r(x(2)-1.0)]，; 


等 式 约 束 〈 向 量 ) 函数 的 Jacobij 和 矩阵 〈 转 置 ) 文件 dhlm 


function qhe=dh1(x) 
dhe=[1.0，-2.0] ，; 


\ 等 式 约 束 〈 轴 量 ) 函数 的 Jacobi 和 年 阵 〈 转 置 ) 文件 dgl.m 
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function dgi=dgl(x) 
dgi=[-0.5#X(1) 9 -2.0*+X(2)] 2 


然后 在 Matlab 命令 窗口 输入 如 下 命令 : 


XO=[3,3] ， ; 
[x,mu,1Lambda,output]=multphr(:f1 ,hl ,gl1，dqf1， qh1，dqg1?,x0) ; 


得 到 如 下 输出 : 
X = 
0.8229 
0.9114 
mu = 
-1.5945 
ambdqa = 
1.8465 
Output = 
fval: 1.3934 
iter: 23 


inner_iter: 82 
bta: 9.5419e-006 


习题 9 


1， 用 外 罚 函 数 法 求解 下 列 约束 优化 问题 : 





1 
st。 2 十 22 三] st 21 十 Za 一 1 
0 
st 221 十 Z2z 一 2 区 0， st 一 Z1 一 22 十 1<0， 
22 之 1， 罗 十 222 
2， 用 内 点 法 求解 下 列 约束 优化 问题 
(min jz) = Zi 十 22， (C2) min jz) = 十 Zo， 
st 一 2 十 Za 区 0， st 一 221 一 Z2 十 2>0， 
21 之 0， 22 一 1>0， 
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(3) min jz) =2zl 十 37z2， (4) min jz)=(z 十 1)2， 
st、 工 一 2z2 一 22 过 0， st， 了 过 0. 
3. 用 乘 子 法 求解 下 列 问题 j 
ae Dj min 7 二 了 本 二 
st. 21 0， St. 2Z1 十 Z2 一 工 =0， 
(3) min jz) = zl 十 了 (Z2 十 了 2， (4) min jz)=(zi 一 2)2 十 (za 一 3)2， 
st Z1 > 0， st (zi 一 2)2 一 Za 二 0， 
2Z2 定 ， 271 一 2 一 工 一 0. 





4. 考虑 下 列 问题 
min jz) 一 Z172， 
st， 9g(z) = 一 201 十 2 十 3>0. 


好 
(D) 用 二 阶 最 优 性 条 件 证 明 点 二 = (2,-2) 是 局 部 极 小 点 , 并 说 明 它 是 否 为 全 局 极 小 












































(2) 定义 障碍 函数 为 G(z,r) = miza ~ rlag(z), 试用 内 点 法 求解 此 问题 , 并 说 明 内 点 法 
产生 的 序列 趋向 于 亏 
5 考虑 下 列 非 线性 约束 优化 问题 ， 























Imin 23 十 23 


S.. Z1 十 22 王 1 


(1) 求 问题 的 最 优 解 ， 
(2) 定义 罚 函 数 Ptzo) 一 邓 十 吗 十 ofz1 十 Za 一 1， 试 讨论 能 否 通过 求解 无 约束 问题 
min P(z,c) 来 获得 原 问题 的 最 优 解 ?说 明理 由 . 
6， 利 用 乘 子 法 的 Matlab 程序 求解 下 列 约束 优化 问题 : 
(min jz) = (zl 一 2)2 二 (za 一 1)2， 
st 21 一 2zoz 十 1 一 0， 






























































一 0.25z4 一 22 十 上 > 0. 
初始 点 取 为 (2, 2)7, 极 小 点 为 (0.5(V7 -1),0.25(V7 十 1)) 


2) min jz) 三 1000 一 z2 一 272 一 22 一 2172 一 2103， 
1 2 一 Z3 





8 80i 十 1422 十 7 三 56=0， 
23 二 z2+23 一 25 一 0 
2Z1 过 0， Za2 过 0， 2Z3 0. 
初始 点 取 为 (2,2,2)7, 极 小 点 为 (3.512118，0.216988，3.552174)7. 
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本 章 介 绍 的 可 行 方向 法 是 一 











类 直接 处 理 约 束 优化 问题 的 方法 , 其 基本 思想 是 





要 求 每 一 步 和 欠 代 产生 的 搜索 方向 不 仅 对 目标 函数 是 下 降 方向 , 而 且 对 约束 函数 


来 说 是 可 行 方向 , 即 迁 代 点 总 是 满足 所 有 的 约束 条 件 . 各 种 不 同 的 可 行 方向 法 的 
主要 区 别 在 于 选取 可 行 方向 几 的 策略 不 同 , 我 们 主要 介绍 Zoutendijk 可 行 方 同 














法 、 投 影 梯度 法 和 简约 梯度 法 三 








种 类 可 行 方向 法 . 


10.1 Zoutendijk 可 行 方向 法 











Zoutendijk 可 行 方向 法 是 用 一 个 线性 规划 来 确定 搜索 方向 一 下 降 可 行 方向 
于 1960 年 提出 来 的 . 我 们 分 线性 约束 和 非 线 性 





的 方法 , 它 最 早 是 上 


约束 两 种 情形 来 讨论 其 算法 原理 ， 








日 Zoutendijk 




















10.1.1 ”线性 约束 下 的 可 行 方向 法 


1. 基本 原理 


考虑 下 面 的 非 线性 优化 问题 


min 帮 zD)， 
st. 47 之 b， 


天 Z 一 6e@， 


其 中 ff(z) 连续 可 微 , 4 是 7 x 呈 和 抑 阵 , 玉 是 ! xm 矩阵 ,7 E 及 "beE 
即 中 有 7 个 线性 不 等 式 约 融和;/ 个 线性 等 式 约束 . 




















F 面 的 引 理 指出 了 问题 fi 的 下 降 可 行 方向 d 应 满足 的 条 件 . 
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(10.1) 


”, eE 


及 
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引 理 17 设 亏 是 问题 人 10. 引 的 一 个 可 行 点 , 且 在 处 有 4 元 一 刀 , 4 元 > 思 ， 





则 we 了 "是 点 互 处 的 下 降 可 行 方向 的 充 要 条 件 是 





41d > 0，Ed = 0，VH5)7d < 0. 














证 不 难 发 现 4d 是 fz) 在 到 处 的 下 降 方向 的 充 要 条 件 是 VJ(z)7d < 0. 另 
外 , 注意 到 条 件 4 远 = 太 表明 约束 条 件 4iz > 玉 是 点 天 出 的 有 效 约 束 , 而 条 件 
4 元 > 表明 约束 条 件 42z > 2 是 点 天 处 的 非 有 效 约 束 . 因此 , 在 可 行 点 元 处 
将 约束 矩阵 4 分 裂 为 相应 的 4 和 4。 两 部 分 . 

充分 性 . 设 4id > 0, Ed = 0. 因 天 是 可 行 点 , 且 4 雹 三 珊 , BE5E = e. 故 对 任 
意 的 aw > 0, 都 有 

















41 (元 十 Qdy) 一 4 元 十 a(4id) 之 4 元 一 D1， 
五 (元 二 ad)j = 五 5 十 Q( Ed) = 五 五 =6. 


又 由 4255 > 思 2, 故 必 存在 一 个 & > 0, 使 得 对 于 任意 的 aw e (0,@l, 都 有 





42( 元 十 Qdy) 一 4 元 十 ad42d 2 bo2. 


以 上 三 式 表明 , 存在 &, 使 得 对 于 任意 的 a e (0,l, 有 





4( 二 二 ad) 之 五 元 二 ad) = e， 





即 元 十 ad 是 可 行 点 , 从 而 q 是 元 处 的 可 行 方向 . 
必要 性 . 设 到 是 可 行 点 , d 是 天 处 的 一 个 可 行 方向 . 由 可 行 方向 的 定义 , 存在 
G, 使 得 对 于 任意 的 we (0,@l, 有 








4( 元 +ad) >D， 五 (元 +ad) = e， 


41( 元 +ad) 之 亢 ，42( 二 十 aq) 之 妈 ， 五 (十 ad) = e. 


41( 元 十 adg) 一 4 元 十 Qa(4id) 之 D1， 4 元 一 D1， CQ >0 
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可 推出 4id > 0. 又 由 


五 (五 +ad) = 五 5+a(4id) >e，E5=e auaw>0 











可 推出 玉 d = 0. 证 毕 . 
上 面 的 引 理 启 发 我 们 , 要 寻找 问题 的 可 行 点 无 处 的 一 个 下 降 可 行 方向 
d, 可 以 通过 求解 下 述 线 性 规划 问题 得 到 : 














min VA(z)7ad， 
S. 怀 . 41d 之 0U， 
画 7 二 站 


= 


(10.2) 





其 中 d = (d… ,加 )7， 增加 约束 条 件 -1 < 相生 1 = ,是 为 了 防止 
|c|l| 一 eco. 

注意 到 , d = 0 显然 是 子 问题 fa. 下 的 一 个 可 行 解 , 故 目标 函数 YJ(z)z7d 的 
最 优 值 必然 小 于 或 等 于 0 若 目标 函数 的 最 优 值 = VJ(z7d < 0, 则 由 引 理 加 
可 知 , f 即 为 元 处 的 下 降 可 行 方向 . 否则 , 若 标 函数 的 最 优 值 = Vj(z)rd = 0， 
则 可 以 证 明 元 是 问题 (0 下 的 KT 点 . 


定理 49 设 元 是 问题 (10.] 的 一 个 可 行 点 , 且 在 天 处 有 4 元 = 一刀 , 42 > bo， 


其 中 
41 ， 让 01 
42 p2 
则 元 是 问题 (10. 芭 的 KT 点 的 充 要 条 件 是 子 问 题 上 10.2 的 最 优 值 为 0 


由 于 上 述 定理 的 证 明 需 要 用 到 Farkas 引 理 ( 引 理 | 芭 , 为 了 使 用 方便 , 我 们 给 
出 Farkas 引 理 的 一 个 等 价 描述 方式 . 


引 理 18 (Farkas 引 理 ) 设 4 为 mmx7 和 天 阵 ,ec 为 风 维 向 量 . 则 477 = e， 
4 过 0 有 解 的 充分 必要 条 件 是 4r > 0, cz > 0 无 解 , 其 中 z, y 分 别 是 为 风 ，7 
维 向 量 . 

定理 9| 的 证 明 : 注意 到 ,到 是 KT 点 充 要 条 件 是 , 存在 入 > 0 和 几 使 得 


VF( 直 一 .41 和 -五 /= 0. (10.3) 











4 一 
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令 1/= 广 一刀 ( 加 记 >0), 把 全 0. 引 写成 


和 
(- 4 -本 区)| |==-V7D，| |> 兰 0 (10.4) 
1 1 











根据 Farkas 引 理 ， 有 解 的 充 要 条 件 是 


- 瑟 |d<0，-VHFa5d >0 (10.5) 


无 解 , 即 
4id>0，Ed=0，YVHa7d <0 


无 解 . 故 却 是 问题 的 KT 点 的 充 要 条 件 是 子 问题 的 最 优 值 为 0. 

由 上 述 定理 可 知 , 求解 子 问题 的 结果 , 或 者 得 到 下 降 可 行 方向 , 或 者 
得 到 原 问题 的 一 个 KT 点 . 

2. 计算 步骤 

下 面 讨 论 可 行 方向 法 的 具体 计算 步骤 . 首先 分 析 如 何 确定 搜索 步 长 ak. 设 问 
题 的 可 行 域 为 大. 第 有 次 欠 代 的 出 发 点 zf E 大 是 可 行 点 , dk 是 其 下 降 可 行 方向 ， 
则 后 继 点 作 大 十 1 为 
























































必 [ 二 1 二 炎 天 十 QQ (10.6) 


为 了 使 得 zi ee 天, 且 使 FLzkti) 的 值 尽 可 能 小 , 可 以 通过 求解 下 面 的 一 维 搜索 
问题 来 解决 : 





min (2 十 CQ )， 
0sosa (10.7) 


@ 王 Imax{alzk 十 aqk E 大 上 


在 求解 (0 下 式 时 , 考虑 到 线性 约束 情形 时 的 (0. 直 式 , 先 求解 











Iain ZK 十 QQ )， 
已。 4(zZK 十 Qd) 之 D， (10.8) 
五 (zf 十 adkr) = e. 
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而 (0 引 可 作 进 一 步 的 简化 : 因为 由 是 可 行 方向 , 有 dk = 0; 而 zk 是 可 行 点 ， 
有 zk = e. 因此 (0 中 中 的 等 式 约束 条 件 自然 成 立 , 可 不 必 再 考虑 它 . 此 外 , 在 
zx 处 , 将 不 等 式 约束 分 为 有 效 约束 和 非 有 效 约束 , 设 








4128 一 D1， 4228 2 D2， (10.9) 


) 
芋 





则 (0 下 中 的 不 等 式 约束 条 件 可 分 裂 成 


441 十 Q.41d 之 D1， (10.10) 
422K 十 Q.42cd 之 Do2. (10.11) 








又 因 羽 是 可 行 方向 ， 人 41dk > 0. 注意 到 4 = 六 下 a 二 0， 


件 也 自然 成 立 . 于 是 410.8) 中 的 约束 条 件 只 剩 下 (10.11, 故 (10.8) 可 简 
化 为 : 








min 用 Z 十 Qdh)， 


S 必 . 42(ZK 十 Qd) 之 D2， (10.12) 


Q > 0. 
以 下 讨论 中 求 w 上 限 的 公式 . 将 中 的 第 一 个 约束 条 件 改写 成 : 
a42du 之 2 一 42zk. 
若 记 
0 一 加 一 4ozk， qd = 42dh， (10.13) 
则 有 





ad > ，aw>0. 





| li 加 (b2 一 4278)i 
di (4a2akh; 





(10.14) 
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其 中 0 di 分 别 是 向 量 凡 ad 的 第 ; 个 分 量 . 因此 , 求解 (10.12) 等 价 于 求解 


min j 帮 Zz 十 adh)， 克 蜀 


一 一 


st 0 和 Qw 芝 CQ 














其 中 豆 由 式 计算 . 
双 此 , 我 们 可 以 写 出 求解 问题 (iD 的 可 行 方向 法 的 详细 计算 步 又 


算法 25 (线性 约束 的 可 行 方 向 法 ) 
步 0 给 定 初 始 可 行 点 Zo, 终止 误差 0< sl < 巡 10<es< 妇 1. 令 大 :=0. 
步 1 在 zu 处 ,将 不 等 式 约束 分 为 有 效 约 束 和 非 有 效 约 束 : 





其 中 


步 2 若 zk 是 可 行 域 的 一 个 内 点 (此 时 问题 中 没有 等 式 约 束 , 即 互 =0 
且 41;=0), 且 |Vj(z5| < si, 停 算得 到 近似 极 小 点 Zi 否则 , 若 zk 是 可 行 域 
的 一 个 内 点 但 ‖VFz 划 | > su 则 取 搜 索 方 向 鸣 = -VjJ(zi, 转 步 5( 即 用 目标 函 
数 的 负 梯 度 方向 作为 搜索 方向 再 求 步 长 , 此 时 类 似 于 无 约束 优化 问题 ). 若 太 不 
是 可 行 域 的 一 个 内 点 ， 则 转 步 3. 

步 3 求解 线性 规划 问 是 


min > 一 VJzp)7a， 


S. 萎 . 4id 之 0U， 


(10.16) 
FEd = 0， 


一 < 必 芭 1|， 2 三 二 71， 
其 中 @ = (di ,do). 设 求 得 最 优 解 和 最 优 值 分 别 为 鸣 和 软 ， 
步 4 2 < 运 05 停 算 昔 ， 输出 四 作为 近 斤 似 极 小 点 . 否则 ， 以 Qk 作为 搜索 方 
向 ， 针 册 
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步 5 首先 由 和 计算 G, 然后 作 一 维 线 搜索 : 
min zz 十 adp)， 
st 0 芝 Q 芝 0Q， 
求 得 最 优 解 ak 
步 6 置 Zk+1l “= 2 十 QQ 厂 :一 大 十 | 转 步 | 
10.1.2 ” 非 线 性 约束 下 的 可 行 方向 法 


1. 基本 原理 
考虑 下 面 带 有 非 线性 不 等 式 约 束 的 优化 问题 : 





人 (10.17) 


St， gi(Z) 二 0) 三 1 7 





其 中 ze Rn， Fo， gi(z) (= 1 ,mm) 都 是 连续 可 微 的 函数 ， 
K 面 的 引 理 指出 了 问题 的 一 个 下 降 可 行 方向 所 应 满足 的 条 件 . 




















引 理 19 设 丈 是 问题 (10.17) 的 一 个 可 行 点 ,指标 集 了 (F) = {|9i(F) = 0}， 


jz oil(z) (GET( 坟 ) 在 天 处 可 微 , gi(Z)0Gg&TD)) 在 无 处 连续 . 若 
VB d<0，Vgi(2 > 0(0GET())， 


那么 坟 是 问题 fi0T 开 在 元 处 的 下 降 可 行 方向 . 











证 由 引 理 [ 引 中 的 下 降 可 行 方向 的 代数 条 件 可 知 , d 必 是 问题 
在 元 处 的 一 个 下 降 可 行 方向 . 证 毕 . 


由 上 述 引 理 可 知 , 问题 在 可 行 点 元 处 的 下 降 可 行 方向 d 应 满足 ; 























VJF 直 7d < 0， 
(10.18) 


Vgi(zjrd > 0, ieET() 
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而 在 中 引进 辅助 变量 > 后 , 等 价 于 下 面 的 线性 不 等 式 组 求 4 和 > 


Vj(57d < 2 





--Vogi(z)d 芭 2 icET()， (10.19) 
多 过 (0. 
注意 到 , 满足 的 下 降 可 行 方向 & 及 数 > 一 般 有 很 多 个 , 我 们 自然 希望 求 
出 能 使 目标 函数 下 降 最 多 的 方向 g. 故而 可 将 转化 为 以 > 为 目标 函数 的 
线性 规划 问题 








Imin 之， 


st VTSX 2 
(10.20) 
--Voi(z)d < 2 icET()， 
-1 区 丰 和 1 一 1 mu， 
其 中 d = (dd)7. 
设 位 0.2 中 的 最 优 解 为 忆 最 优 值 为 = 那么 , 若 < 0, 则 了 是 问题 ffL0.1? 在 
天 处 的 下 降 可 行 方向 ; 否则 , 若 研 = 0, 则 下 面 的 定理 将 证 明 : 相应 的 元 必 为 问题 
(10.17| 的 Fritz John 点 . 
定理 50 设 元 是 问题 10.1? 的 可 行 点 ,7T( 悦 = { 芋 |9i(F) = 0}. 则 元 是 问题 
(10.17) 的 Fritz John 点 的 充 要 条 件 是 子 问 题 (10.20| 的 最 优 值 为 0， 
证 对 于 子 问题 fi0.20, 其 最 优 值 为 0 的 充 要 条 件 是 不 等 式 组 


VjF( 二 7d < 0， 























Voi(F)7d > 0， ?ET7()， 


即 
Vj(z)7d < 0， 
(10.21) 
--Vgi(27d < 0，7 ET 了)， 
无 解 . 根据 Gordan 引 理 ( 引 理 [四 , 不 等 式 组 无 解 的 充 要 条 件 是 存在 不 全 
为 0 的 数 No >0 和 和 Xi (exT( 坟 ,使 得 


Xovj( 相 - > XiVogi(5) = 0， 
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即 厌 是 问题 (10.1 四 的 Fitz John 点 . 证 毕 . 
2. 计算 步骤 























与 线性 约束 情形 一 样 , 为 了 确定 搜索 步 长 wk, 仍然 需要 求解 一 个 一 维 搜索 问 
题 ; 
. 二 
(10.22) 
st. 0 入 a 忒 Q， 
其 中 
@=sSup{fal9( 和 十 adk) 二 0 =1 ;70 (10.23) 





现在 , 我 们 写 出 求解 问题 的 可 行 方向 法 的 详细 计算 步 又 : 


算法 26 ( 非 线性 约束 的 可 行 方向 法 ) 
步 1 确定 zk 处 的 有 效 约束 指标 集 T(zh) : 


7(zZi) 三 {|9i(ZzN 站 三 0 1< < 7 上 


若 T(zi) =1 且 |VjF(zal| < st 停 算 , 得 到 近似 极 小 点 Zhi 否则 若 T(zh) 一 由 但 
1VAF(zall > si 则 取 搜 索 方 向 加 = -Vjzn, 转 步 4. 反之 , 若 T(zh) 天 0 转 步 
2 

步 2 求解 线性 规划 问题 人 0.2 中 , 得 最 优 解 &K， 最 优 值 区 ， 

步 3 若 | 加 | < so 停 算 , 输出 ZK 作为 近似 极 小 点 .否则 ,以 砍 作 为 搜索 方 
向 ， 转 步 4. 

步 4 首先 由 计算 @, 然后 作 一 维 线 搜索 : 


min zk 十 QQdhn)， 
st 0 近 Q 芝 0Q， 


二 4 


求 得 最 优 解 ak 
步 5 置 ZL :一 ZK 十 Qkdk 大 :一 大 十 1 转 步 1. 


注 (1) 步 1 中 的 7T(zn) = 小 表明 zx 是 可 行 域 天 的 内 点 , 因此 任意 方向 都 是 
可 行 方向 . 此 时 , 知 不 满足 终止 条 件 , 类 似 于 无 约束 优化 问题 , 可 用 最 速 下 降 法 寻 
求 下 一 个 迭代 点 . 但 毕竟 不 是 真正 的 无 约束 问题 , 步 长 要 受到 可 行 与 便捷 的 限制 . 

(2) 步 3 中 知 浆 宇 0, 说 明 在 zx 处 找 不 到 下 降 可 行 方向 , 可 以 认为 zx 是 原 
问题 的 一 个 Fritz-Jobhn 点 . 
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(3) 算法 [26| 若 推广 到 包含 非 线性 等 式 约束 的 优化 问题 , 迁 代 过 程 会 出 现 一 
些 困难 . 因为 对 于 等 式 约束 和 当前 可 行 欠 代 点 zk, 一 般 难 于 找到 一 个 可 行 方向 
这 与 罚 函 数 类 算法 刚好 相反 , 始 函 数 类 算法 容易 处 理 等 式 约束 . 
































例 29 用 Zoutendijk 可 行 方向 法 求解 下 列 问题 : 


min 2zZ1 十 Z2 一 271 一 4zo 十 3， 
St. 一 271 十 Xa 之 一 | 
二 2 一 人 全 二 孝 


21 之 0 7Z2 > 0. 


解 取 初 始 可 行 点 zo = (0, 0) 
第 1 次 迭代 . Y(zo) = (-2, -4) 有 效 约束 和 非 有 效 约束 的 系数 矩阵 和 碳 


端 向 量 分 别 为 : 


加 装 攻 二 的 国语 本 二 四 | 


先 求 在 zo 处 的 下 降 可 行 方向 do. 解 线性 规划 问题 








min VA(zo)7d， 
S. 萎 . 4id 之 0U， 
忆 有 0 


即 
min 一 2adl1 一 4qd.>， 
s.t. ai 过 0, a2 过 0， 
一 1 和 di 忒 1， 


一 1 和 do 芯 1 








由 单纯 形 方 法 求 得 最 优 解 为 go = (1 1 
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再 求 步 长 因子 ao. 分 别 计 算 六 d 和 G: 


于 是 解 下 面 的 一 维 搜索 问题 求 ao: 


Imin 丰 (zZo0 十 Qdo) 一 2aQ2 一 6a 十 3， 


st0O<ac 区 1|. 





求 得 ao =1. 令 zi=xzo+aodo = (17 至 此 第 1 次 迭代 完成 . 
第 2 次 友 代 . VJ(zi) = (0,-2) . 有效 约束 和 非 有 效 约束 的 系数 矩阵 和 右 端 











解 线性 规划 问题 
min 一 2q。， 
s.t. 2a1 十 da2 过 0， 
一 由 一 da > 0， 
= 


-1<d<1 








由 单纯 形 方法 求 得 最 优 解 为 由 = (-1, 47 
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再 求 步 长 因子 o1. 分 别 计算 交 qd 和 6 


得 去 = 1. 于 是 解 下 面 的 一 维 搜索 问题 求 ai: 
min 帮 zi 二 ad =2a2 一 2a 一 1 


st.0<a 芭 1|. 





求 得 al = 0.5. 令 z=z2+adi=(1D7+05(-11)7 = (0.5,1.5)7. 至 此 第 2 
次 迭代 完成 . 
第 3 次 友 代 . VF(za) = (-1 -1)7 有 效 约 束 和 非 有 效 约 束 的 系数 矩阵 和 右 


端 同 量 分 别 为 : 











_2 1 一 工 
址 二 | 二 | 42=| 1 0|， 而 二 | -| =| 0 
0 1 0 


= 


邓 线 性 规划 问题 





min 一 qi 一 co。， 
st. 一 ai 一 ao >0， 
一 <d < 1， 
-过 刷 过 1 
由 单纯 性 方法 求 得 最 优 解 为 四 = (0,0)7. 由 定理 [| 知 , za = (0.5,1.5)7 是 KT 
点 .由 于 此 例 是 凸 规划 , 因此 ,za 也 是 最 优 解 , 相应 地 , 目标 函数 的 最 优 值 为 
方 和 三 /za) = 1.5. 


























10.2 ”梯度 投影 法 


梯度 投影 法 是 Rosen 于 1961 年 针对 线性 约束 的 优化 问题 首先 提出 来 的 一 种 
优化 算法 , 次 年 Rosen 又 将 他 的 这 一 算法 推广 到 处 理 非 线性 约束 的 情形 . 后 来 这 
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一 方法 又 得 到 了 进一步 的 发 展 , 成 为 求解 非 线性 规划 问题 的 一 类 重要 的 方法 . 


几 旦 7 
又 京 


10.2.1 梯度 法 的 理论 基础 
我 们 考虑 线性 约束 的 优化 问题 























min zh， 
st 47 过 b (10.24) 

尼 Z 一 6e， 
其 中 上 是 连续 可 微 的 ?元 实 函 数 , 4 E 月 mxm 瑟 E 了 2 DE 了 meE 了 7 E 及" 














其 可 行 域 为 了 = {zr ER"|4z 过 六 Brz =e. 
梯度 投影 法 的 基本 思想 是 : 当 迭 代 点 如 
-Vj(zha) 作为 搜索 方 同 ; 否则 , 当 zx 是 可 行 域 











些 边界 面 交 集 上 的 投影 作为 搜索 方向 . 这 也 是 “梯度 投影 法 ” 






































是 可 行 域 了 的 内 点 时 , 取 ad = 
的 边界 点 时 , 取 -Vj(zk) 在 这 
称 的 由 来 . 





在 具体 介绍 梯度 投影 法 之 前 , 我 们 先 引 入 投影 矩阵 的 概念 及 其 有 关 性 质 . 





定义 20 称 和 矩阵 PE< 























Rnxm 为 投影 敌阵 ,是 指 书 满足 





已 =PT ， P 忆 = 忆 
由 上 述 定 义 可 知 , 一 个 对 称 寺 等 算 阵 就 是 投影 息 阵 . 投影 矩阵 具有 如 下 一 些 基 本 
性 质 , 其 证 明 可 参看 文献 [本 |. 
引 理 20 设 矩 阵 已 < 及 "xm". 











(1) 车 尸 为 投影 矩阵 , 则 已 是 半 正 定 的 ， (2) 尸 是 投影 矩阵 当 且 仅 当 了 一 书 
也 是 投影 矩阵 ， 其 中 了 是 阶 单位 阵 . (3) 设 尸 是 投影 拭 阵 ,Q@ = 了 一 书 , 则 





厂 = 亿 = Pzlze 夺 三 








R" 上， 





是 互相 正 交 的 线性 子 空间 , 并 且 对 于 任意 的 了 ZE 


人 一 9 十 2 ELZ 


41 
42 


人 4 











{z=QzlzE 
Rn" 可 唯一 地 表示 为 


R 

















全 


可 题 (10.24 的 一 个 可 行 点 ， 且 满 足 4 元 一 D1， 427 区 Do， 


0 
02 


中 
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又 设 
M= | 富 
互 
是 满 秩 天 阵 , 已 = 了 一 MIT(UMAMT)-IM，PVJH 直 大 0. 若 取 4 = 一 PVA 二 则 d 
是 问题 的 一 个 下 降 可 行 记 商 ， 








证 不 难 验证 ,已 =T- MTOMAMT)-LWM 是 投影 矩阵 , 故 由 PV7(G5) 尖 0 可 得 











V7 直 4=-VYjG PVA = 一 |PY7 <0， 
即 d 为 下 降 方向 . 又 因 


Md = -MPVHa7 
= -MU- MTUOMMT-LOVF(aT 
= (-M+MIVHFaT7= 0， 


印 





从 而 4id = 0, Bd = 0. 根据 引 理 上 7 4 是 在 天 的 可 行 方向 . 证 毕 . 

上 述 定理 在 PVj( 直 和 0 的 假设 下 , 给 出 了 用 投影 来 求 下 降 可 行 方向 的 一 种 

方法 . 但 是 , 当 PVJG) = 0 时 , 情况 又 该 如 何 呢 ? 下 面 的 定理 指出 , 此 时 有 两 种 
能 : 要 么 元 是 已 是 KT 点 , 要 么 构造 新 的 投影 矩阵 , 以 便 求 得 下 降 可 行 方向 . 





















































定理 52 设 元 是 问题 (10.24) 的 一 个 可 行 点 , 且 满 足 4 元 = 有 427z > 


第 十 章 可行 方 向 法 回 目录 810.2 ”梯度 投影 法 








是 行 满 秩 矩 阵 ， 令 


已 = 了 一 MITOMAMD-TA 
入 
w= (MMRAMVYJ)= | ， 
内 


其 中 入 和 1 分 别 对 应 于 41 和 一 . 若 PVF(GE) = 0, 则 

(1) 如 果 入 >0, 那么 元 是 KT 点 . 

(2) 如 果 入 涛 0, 不 妨 设 Ai < 0, 那么 先 从 41 中 去 掉 Aj 所 对 应 的 行 , 得 到 新 
短 阵 41， 然 后 令 


, 王 =T- MITOMMTDTLM dd = 一 PVY 帮 二 ， 





那么 , d 是 下 降 可 行 方向 . 
证 (1) 设 入 > 0. 注意 到 PYV Hz = 0, 我 们 有 
0 = PVHF( 动 =I--MTIOMAMIDTTAMTVYF 
= VjG) 一 MOMNMT ) MVHa 
= VJj 相 -Mowo=V1 相 -Li,B] | 2 
凡 
= VH( 直 一 .47 和 一 五 71. (10.25) 


10.25) 恰 为 KT 条 件 , 因此 天 是 KT 点 . 
(2) 设 NM < 0. 先 证 明 PVJ(5) 尖 0. 用 反 证 法 . 若 PYJ(z) = 0, 则 由 忆 定 
义 可 得 














X 


0=PVHF 相 =TL-MIOUMDTAMIYHa 坟 =VHD) 一 MIO， (10.26) 


其 中 心 = (MAMT)-IAWMVHa. 设 4 中 对 应 于 Xi 的 行为 岂 (第 7 行 ). 由 于 


47T 和 十 ETN = 47A 十 多 十 瓦 7 = MT 二 局 人 : (10.27) 
将 (059 代入 (5 引得 
0=Vj(G) 一 MI 一 ANr7 (10.28) 
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减 去 (0.2 中 得 








MT@ 一 JW)+XNr=0. (10.29) 
上 式 左 端 是 矩阵 M 的 行 向 量 的 一 个 线性 组 合 , 且 至 少 有 一 个 系数 X) 夭 0. 由 此 
可 得 M 的 行 向 量 线性 相关 , 这 与 M 是 行 满 秩 矛 盾 . 因此 必 有 PVAj (GZ) 天 0. 
由 于 己 亦 为 投影 矩阵 , 且 PVJ(z) 关 0, 故 

















VjG dd=-Vja PVA = 一 PVA 人 < 0， 


即 d 是 下 降 方向 . 以 下 只 需 证 明 qd 是 可 行 方向 即 可 . 事实 上 ， 





Md = 一 MPVH(5 
-MT MTICOAMDTUAIYHGz) 
(JI 本 二 册 


即 
4id=0，BEd=0. (10.30) 


将 两 边 左 乘 ”已 得 
miPVH() 一 nmPMTO-AXNrPr =0. 
注意 到 PM7 =0 及 dg= -PVF(z, 上 式 即 
md 十 XiriPry = 0. (10.31) 
尸 半 正 定 (5 >0) 及 X<0, 故 有 
而 可 呈 一 77 过 站 (10.32) 


由 伍 台 和 (加 到 凤 得 


4id>0，Ed=0. 





























最 后 , 根据 引 理 [ 了 4 是 在 到 的 可 行 方向 . 证 毕 . 
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10.2.2 ”梯度 投影 法 的 计算 步骤 
基于 上 述 分 析 与 讨论 , 我 们 给 出 Rosen 梯度 投影 法 的 详细 计算 步骤 如 下 : 

















算法 27 (Rosen 梯度 投影 法 ) 
步 0 给 定 初始 可 行 点 Z0, 令 丰 := 0. 
步 工 在 尼 天 处 确定 有 效 约束 42 一 b1 和 非 有 效 约 束 42z8 次 D2， 其 中 


加 | 
wx-| | 


若 M 是 空 的 , 则 令 忆 一 了 (单位 矩阵 ) 否则 , 令 忆 =T- MTOMMOJ-LW 


步 3 计算 驳 = 一 PVJHzn. 若 |du| 和 0, 转 步 5; 和 否则, 转 步 4. 
步 4 计算 


ww= (WMAMDDTIMVYAzn = | . 
1 


若 入 > 0, 停 算 , 输出 大 为 KT 点 . 否则 , 选取 入 的 某 个 负 分 量 , 比如 NA) < 0, 修 
正 短 阵 41,， 即 去 掉 41 中 对 应 于 Xi 的 行 ， 转 步 2. 
步 5 求解 一 维 搜索 问题 ,确定 步 长 ak : 


In Zr 十 QQ )， 


st 0 区 aa 芝 GQ， 
其 中 区 由 下 式 确定 


min 和 全 本 中 全 5 由 芝 机 


(4azdk); 
十 Ce， (42qp) 之 0. 





CQ 一 


步 6 令 ZKH1 :一 ZK 十 Qkdk 天 :一 大 十 荆 转 步 1. 
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例 30 用 Rosen 梯度 投影 法 求解 下 面 的 优化 问题 








min Fz) 一 2Z1 十 Z2 十 6zl 十 9， 
S 必 . 221 十 To2 之 二 


21;72 之 0. 
取 初 始 可 行 点 为 zo = (2,0)7. 


解 首先 目标 函数 的 梯度 


第 1 次 迭代 . 在 zo 处 的 梯度 为 


10 
Vjxzo) = 
0 


在 zo 处 有 效 约 束 的 指标 集 为 = {l13}, 即 2zl:+z >4 和 zs >0 是 在 
20 = (2,0)7 处 的 有 效 约 束 . 将 约束 系数 矩阵 4 和 右 端 向 量 分解 为 


国宝 本 二 攻守 

















4) 测 


| 
rr 四 
〇 ) 上 一 
上 一 〇 ) 
LE | 

| 
FE 
一 性 
上 一 < 
L_ 1 
-人 
必 | 一 
F 忆 人 
 ，- 汉 
上 一 
cn | 

一 
LE -1 
ES 
一 


心 
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计算 


盖 
| 


(4141) 王 41VJ(zo) 


-加 启 














有 二 | 包 沁 ， 
再 求 投影 托 阵 
五 - Jr0a- 
1 0 2 本 

直下 

1 1 一 2 

5 -2 4 
令 


求 步 长 Q0， 
min Fzo 十 ado)， (10.33) 
st 0 芝 a 把 QQ. 
由 于 
2 
0 一 b 一 4270 一 0 一 0| | 于 全 9 
0 
一 2 
| | -= 
4 
故 2 
| 
一 2 
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这 样 , 问题 (10.33j) 即 为 
min 20a2 -- 20a 十 25， 


st. OU 和 Q 芯 二. 


第 2 次 迭代 . 


cs w[ 相 加 


因 瓦 = 由 故 M = 4. 计算 投影 矩阵 


1 一 2 
-An 让 | 


心 


计算 
ennasrm -让 =。 


故 z= (12)7 是 KT 点 . 
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10.3 ”简约 梯度 法 
10.3.1 Wolfe 简约 梯度 法 
Wolfe 于 1963 年 针对 线性 等 式 约束 的 非 线性 优化 问题 提出 一 种 新 的 可 行 方 


向 法 , 称 之 为 简约 梯度 法 . 我 们 来 介绍 这 种 方法 . 
考虑 具有 约 性 约束 的 非 线性 优化 问题 




















min jz)， 
s.t. 4z 一 几 (10.34) 


2 0， 








其 中 4 e 有 mx 秩 为 m, DERm 六 :BR 人 及 连续 可 微 . 设 矩 阵 4 的 任意 mm 个 
列 都 线性 无 关 ， 并 且 约 束 条 件 的 每 个 基本 可 行 点 都 有 mm 个 正 分 量 . 那么 在 此 假 
设 下 , 每 个 可 行 解 至 少 有 mm 个 正 分 量 , 至 多 有 风 一 mm 个 零 分 量 . 简约 梯度 法 的 基 
本 思想 把 求解 线性 规划 的 单纯 形 法 推广 到 解 线性 约束 的 非 线 性 优化 问题 人 0.3 种 . 
先 利用 等 是 约束 条 件 消去 一 些 变量 ， 然 后 利用 降 维 所 形成 的 简约 梯度 来 构造 下 
降 方法 , 接着 作 线 性 搜索 求 步 长 , 重复 此 过 程 逐步 逼近 极 小 点 . 下 面 依 次 介绍 如 
何 确立 简约 梯度 、 如 何 构造 下 降 方向 和 计算 线 搜索 的 步 长 上 界 等 . 
先 介绍 简约 梯度 的 确立 . 将 4 和 z 进行 分 解 . 不 失 一 般 性 , 可 令 










































































其 中 马 是 mX 了 可 道 矩 阵 , zp;,ZN 分 别 是 由 基 变 量 和 非 基 变量 构成 的 向 量 . 那 
么 线性 约束 4z = 就 可 以 表示 为 








DZp 十 NZN 一 


而 z>0 则 变 成 
ZpP 一 下 -20 一 BINVzw>>0， ZN > 0. 


现 假设 > 是 非 退 化 的 可 行 解 , 即 xp > 0. 由 于 zp 可 以 用 zw 来 表示 , 因此 /z) 
可 以 化 成 关于 zw 的 函数 , 即 


jz = jzpzw) 一 HB- 一 BINzwZN) := 一斑 (ZN)， 
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称 双 一 7m 维 问 量 zw 的 函数 (zw) 的 梯度 为 /zz) 的 简约 梯度 , 记 为 r(zw), 即 





7r(ZN) 王 VavE(ZN) = VCB-I 和 巨 -LNzN， ZN) 
Vwj(zapzw) 一 (BE N) VsHzezwh， (10.35) 


上 上 址 中 Vw 二 六 证 二 部 


再 确 


























定 搜索 方向 , 即 怎 样 确定 在 点 f 处 的 下 降 可 行 方向 dr, 使 得 后 继 点 

















ZLTd 斗 QQ 是 可 行 点 且 目 标 函 数值 下 降 . 令 


CQB 
必 =| | 
(从 


欲 使 因为 下 降 可 行 方向 , 需 其 满足 


V (zadk < 0U， 


等 式 4dr = 0 得 


印 


Bd2 二 Nd = 0， 


d2 = 一 局 -LNdA， (10.36) 





这 表明 吃 是 由 以 确定 的 . 再 由 下 降 性 条 件 VJ(zh) “dk < 0 可 得 


六 病人 YE 有 克 本 于 NRZ 丰 
= 一 VBjzh BTLVNIR 十 VNj(zp dh 
一 7(zA)7dw < 0. (10.37) 


由 非 负 性 条 件 可 知 





取 法 为 


当 (zA) =0 时 ，(dw); > 0. (10.38) 





不 难 发 现 , 满足 fi03 丰 ~(a0.3 引 的 有 许多 种 选取 方法 , 其 中 一 种 简单 的 


一 (zw)yri(zR)， 如 果 m(zg) >0 
(dt) 一 (10.39) 
二 条 [2 否则 . 
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一 B-INdN 有 | 
小 = = 人 (10.40) 
CA /二 击 
余下 的 问题 就 是 确定 步 长 ak. 为 保持 
必 有 十 1 之 0， 
好 
(ZHI = (ZR)7 十 Q(dk); 之 0U， 了 一 工 .…. ) 人， (10.41) 














需 确定 w 的 取 值 范围 
注意 到 , 当 (dj > 0 时 , 对 任意 的 w > 0， 恒 成 立 . 而 当 (dj < 0 时 ， 
应 取 














《ZE)7 
所 
一 (Gpj 
因此 , 令 
十 co， CQ 之 0 
Q 三 10.42) 
(Zk)5 均 人 
min{ 一 (GD (dz)7 < 0 个 则 . 


可 以 证 明 , 按照 上 述 方式 构造 的 方向 dr, 知 大 夭 0, 则 它 必 为 下 降 可 行 方向 ， 
否则 , 相应 的 zx 必 为 KT 点 . 





17 
定理 53 设 4=(B,N) 是 加 X7 和 珑 阵 ,已 是 m 阶 非 奇 异 矩 阵 ，zk 一 1 
天 


是 问题 (10.3 和 4 的 可 行 点 , 其 中 7zZ2 > 0 是 相应 于 妃 的 mm 维 向 量 . 又 假定 子 数 让 
在 zf 处 连续 可 微 , f 是 由 (10.39) 和 (10.40) 定义 的 方向 向 量 . 那么 , 若 因 夫 0， 
则 以 是 下 降 可 行 方向 , 且 吹 =0 的 充 要 条 件 是 人 是 KT 点 . 


4 办 = Bde+Nd =(-B-LVd)+Ndy =0. 


又 由 (0.3 引 , 当 (zw); = 0 时 , (do); > 0. 注意 到 z2 > 0, 因此 根据 引 理 [7 因 是 
可 行 方向 . 此 外 , 我 们 有 


VJF(zp)7 dx 

















VBjJzp)7adB 人 VNwF(zp7 cd 
= Vsj(zbj (-B Nd ) 二 VNf(zej de 


二 7r(2zm)7 cd. 
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注意 到 , 当 以 夭 0 时 , 根据 知 r(zt)7dk < 0, 因此 伏 是 下 降 可 行 方向 . 
现在 证 明 思 = 0 当 且 仅 当 浆 是 KT 点 . 事实 上 , 我 们 知道 , zx 是 问题 的 
KT 点 的 充 要 条 件 是 , 存在 乘 子 入 = (XXX 并 0 及 旋 使 得 


Vj(zb) 一 4 一 和 = 0， 
入 >0， 亿 全 0，Xz=0， 


VBj7zp 入 已 0 

二 可 雪 10.43 
加 四 
27Z 一 0， AAAWZA 一 0. (10.44) 


我 们 先 设 zx 是 KT 点 , 则 上 述 条 件 成 立 . 由 于 xz > 0 且 和 Xe >0, 则 由 


的 第 一 式 推出 Xe = 0. 从 而 由 (0.4 的 第 一 个 方程 可 得 








印 





/一 (BDIVpHzn)， (10.45) 
将 上 式 代入 四 0.4 引 的 第 二 个 方程 可 求 得 
AM 一 VNwjfz 一 (B-LNTIVpzh) = 一 7r(zx) > 0 (10.46) 
由 及 的 第 二 式 可 得 
r(zw)7zn 一 0. (10.47) 


注意 到 zA > 0, 故 由 上 式 可 推出 


0 (10.48) 


因此 , 根据 ff0.4， (io 可 和 (0.38， (00.39 可 推 得 几 = 0 


反之 ， 一 王 0 0 人 
Aw =r(zy) = Vwjf(zh) 一 (B-LV)7Vej(zh) >0. 
故 由 峰 0.3 趾 可 知 必 有 ANzA = 0 成 立 . 再 令 
Xe 一 0 1=(B) Vsj(zph， 


则 有 X3z2 = 0 及 人 0.43) 式 成 立 . 故 允 是 KT 点 . 证 毕 . 
下 面 , 我 们 写 人 
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算法 28 (Wolfe 
步 0 初始 化 . 选取 初始 可 行 点 Z0E 了 ". 令 大 :=0. 
步 1 计算 搜索 方向 . 将 如 分 解 成 


2 
8 一 区 
CR 


其 中 , z2 为 基 变 量 , 由 zk 的 mm 个 最 大 分 量 组 成 ,这些 分 量 的 下 标 集 记 作 . 友 . 相 
应 地 ,将 4 分 解 成 4= (B,N). 按 下 式 计算 必 : 





r( 伏 ) = VNjzi) 一 (BIN) VBaj(zE Ze)， 


一 (jz(2 )， 如 果 7j(2) 二 0， 


(@) 
一 7j(ZA)， 否则 ， 


dB -BIN| w 

人 二 

步 2 检验 终止 准则 . 一 0, 则 zx 为 KT 点 , 停 算 . 和 否则, 转 步 3. 
步 3 计算 步 长 上 界 


dk 王 





只 | 





&I 
| 
E 
名 
一 人 一 
SS 
和 





步 4 进行 一 维 搜索 . 求解 下 面 的 一 维 极 小 化 问题 得 步 长 ak : 


| Inin 太 2 和 Qdk)， 


st.0< 过 ac 芝 CQ. 
令 ZHI: 一 2 十 Qkdk. 


步 5 修正 基 变量 若 7B > 0, 则 基 变量 不 变 , 否则 , 若 有 了 使 得 (ok 一 0， 
则 将 (zk+1)jy 换 出 基 , 而 以 (zi)j 中 最 大 分 量 换 入 基 , 构成 新 的 基 向 量 z 刀 1 和 


179 . 


第 十 章 。 可 行 方向 法 810.3 ”简约 梯度 法 


例 31 用 Wolfe 简约 梯度 法 重新 求解 例 B9| 即 








min 2Z1+ 十 2Z2 一 271 一 4zo 十 3， 
S.t， 一 271 十 Za2 之 一 工 ， 
一 Z1 一 Z2 之 一 2 


21 之 0 7Z2 之 0. 





解 首先 , 引入 松弛 变量 za z4 > 0, 将 原 问题 转化 为 等 价 的 “标准 形式 ”: 


min 2Z1+ 十 2Z2 一 271 一 4zz 十 3， 
271 一 X2 十 Ia3 三 |， 
Z1 十 Zoo 十 24 一 2， 
2Z1 之 0, 7Z2 二 0， 


23 之 0 7Z4> 0. 





首先 写 出 约束 矩阵 和 梯度 
271 一 2 
2 -~110 2zo 一 4 
| ， Vy 二 三 
1 1 0 1 0 
0 


取 初 始 可 行 点 zo = (0, 0,1, 2)7 
第 ]1 次 迭代 .大 = 0. 万 = {3,4.VJ(zo) = (-2, -4 0,0)7. 确立 五, N 等 
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计算 简约 梯度 r(zy) 得 








从 而 do = (2,4,0, 一 6) 
求 步 长 上 界 


从 zo 出 发 , 沿 do 搜索 : 
0 
Z0 十 Qdo 三 十 Q 王 5 


Flzo 上 +ado)=20a 一 20a 十 3. 


求解 一 维 极 小 问题 
min20o 一 20a 十 3， 


t. 0 区 
S. Q 区 
3” 
5 工 2 
号 ao 一 5 从 而 Zi 一 Zo 十 aodo 一 人 i 
第 2 次 大 代 . 厂 = {2,3}. VJ(zi) = (-5 ,0.0) ， 
二 2 
部 到 一 1 工 2 0 
2 一 3 ， 声 作 全 3 ，， 也 = ， AN = 

1 0 0 1 工 
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计算 





及 -LN 1 工 
3 1 


计算 简约 梯度 r(zy) 得 


2 TT 4 2 
二 |‖ 人 | 二 | 下 胆 | 二 | 
0 3 1 0 4 
3 
当 7( 袜 ) >0 时 , 取 ()= 一 (cm)7rj(zTY)， 故 
4 4 
V 9 已 一 工 4 9 
di 雪 ) di 要 一 (也 V)di 一 一 一 
0 3 1 0 
沁 而 4 4 14 了 全 
ER 
求 步 长 上 界 
-23 3 
49 2 
从 za 出 发 , 沿 di 搜索 : 
2/3 一 4/9 6 一 4a 
47/13 4/9 1 | 12 二 4a 
21 十 adi 一 / 十 Q / 一 二 
1 4/3 9 | 9+8a 
0 0 0 
2 24 11| 
人 ao 一 一 a 一 





求解 一 维 极 小 问题 





co 性 忻 | 性 
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， 3 134 AN 
本 8， 而 22 一 21 十 Qidl 一 (; 5 ,0 

第 3 次 进 代 . 到 = {2,3}. VJza) = (一 1 一 1 0,0) 


3 1 
22 一 | 妃 == 和 | 
0 1 0 吐 | 


人 1 工 
3 1 


计算 简约 梯度 r(zf) 得 

















民 
2 
| 


= Vwj(zi 一 (B-LV) VBHzI 

一 1 工 一 | 司 0 

0 31| |1ol 1 

要 7j(Z) > 0 时 ， 取 (dr ); 本 = 而 7j(2ZT) = 0 时 ， 取 (dr ); 


_rifzw) 故 
2 -ee 
0 0 


从 而 do = (0,0,0,0) 根据 定理 5 Z2 即 为 KT 点 , 故 太 = (5 是 原 问 题 的 
全 局 极 小 点 . 


























10.3.2 ”广义 简约 梯度 法 


Abadie 和 Carpentier 于 1969 年 将 Wolfe 简约 梯度 法 推广 到 一 般 非 线性 约 
束 的 情形 , 提出 了 所 谓 的 广义 简约 梯度 法 . 设 一 般 非 线性 约束 优化 问题 为 











其 中 亡 训 Ge 有 9ie7) 是 连续 可 微 的 函数 . 
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假设 zx 是 第 大 次 可 行 欠 代 点 , 记 天 = 书 U{ilie 厂 gil(zh) = 0 并 设 
clzp) = (和 (za(zpjigi(za (Ge 天 NB) 
则 在 第 有 步 可 考虑 子 问题 : 


| | (10.49) 


s.t，c(ZK) = 0. 











现在 我 们 讨论 如 何 确 立 简约 梯度 r(z). 不 失 一 般 性 , 设 到 = {12…… ,sj 
5 二 / 且 约 束 函 数 的 Jacobi 和 珑 阵 





| Yatzn， TV V9gi(Zp GE TAN 石 ) 


行 满 秩 (不 妨 设 其 前 s 列 构成 的 方 阵 非 奇异 ). 那么 可 以 解 出 前 s 个 变量 , 即 可 以 
用 其 余 的 冯 - s 个 变量 来 表示 这 s 个 变量 . 通常 称 这 s 个 变量 组 成 的 子 回 量 为 基 
司 量 , 记 为 z&, 其 余 风 - s 个 变量 组 成 的 子 同 量 为 非 基 辐 量 , 记 为 六 为 方便 计 ， 
去 掉 下 标 刀 , 并 记 s xs 和 托 阵 












































Vapc(tzZ) 三 CO ,VBAi(Z)) VB59g1ZD) vag oo)] ， 


























其 中 
区 二 (二 而 网 世 症 可 生前 同 加 ) 
及 
Oci(Z) 
O7z1 
Vpci(Z) 一 : ,7 一 1,2,.… ,5. 
oci(Zz) 
Oz。 
由 假设 可 知 Vsc(z) 非 奇 异 . 再 记 移 阵 
五 
VNclZ) 一 |vwe(m， VNca(Z)) …:，VNvcs(Z)| E Rsxn 5)， 
其 中 
oOci(Z) 
OxzsHl 
VNci(Z) 三 : ,一 1 2 ,5. 
oci(Z) 
DZ 


回 目录 810.3 简约 梯度 法 
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在 z 的 某 邻 域内 , 由 非 线性 方程 组 c(z) = c(zp,zw) = 0 可 以 确定 zp 为 ZN 的 函 


数 ， 有 已 二 2O(ZN): 
等 式 c(z) = c(zp,ZNw) = 0 两 边关 于 zw 求 梯度 得 .pw(zw)Vpc(zZ) 十 


Vwvc(zZ) = 0, 其 中 


























Oz1 OZzo DO7。 
站 曲 Ga 62 
Javtom = [ee -| 
站 O7zl OZzo DO7。 
OZzn On Ozn 
从 而 , 我 们 有 
JBw(zw)=-Vwc(z)[Vac(z)] (10.50) 


注意 到 太 (Z) 三 Jp(ZN) ZN)， 对 其 求 关于 必 N 的 梯度 ( 即 简约 梯度 ) 得 


7r(ZNr) 一 VNJ(Z) 十 JpBN(ZN)VBZD). 


将 代入 上 式 即 得 


r(zw) 一 Vwjf(z) 一 Vwclz)[Vac(z vae(z)， (10.51) 


现在 设 下 降 可 行 方向 为 & = (dg), 则 由 下 降 可 行 条 件 知 d 应 满足 
Vjz)7d < 0， Vc(z)7d = 0. 


由 YVc(z)Jiad = 0 可 得 
Vpc(z)7dp 十 Vwc(zj7dw = 0. 


于 是 有 
(10.52) 





ap 全 一 [Vspc(z) 习 -LVNwc(z)7dNv 上 JBw(zNv)7 adw. 


又 由 VF(z)fa < 0, 得 
Vsjlz)7rdaeT+TVNwf(zi dv < 0. 
将 dp 的 表达 式 代 入 上 式 得 
Vnwj(z) dv 一 Vsjfz) [vac(z) 一 Vwce(z) dv < 0， 
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即 
r(ZN)7dN < (0. 


因此 , dx 的 一 种 简单 的 选取 方法 是 wx = -7r(zw). 至 此 , 我 们 在 上 述 的 推导 过 程 
中 以 zz= 人 4 代入 得 次 处 的 简约 梯度 为 r(z 交 ), 下 降 可 行 方 癌 为 


QZ 
屎 =| “|= 
人 


最 后 确定 步 长 ok. 可 以 通过 求解 下 述 一 维 极 小 问题 





区 | 、 
7 ) (10.53) 





一 JBN( (zZ 六 ) “|- 























min jzZz 十 adp)， 
s.t. ci(ZK 十 Qdk) 一 0,7E 五 ， (10.54) 
ci(Z5 十 ad 过 0,2ET 


获得 搜索 步 长 QK， 然后 令 ZKHT1 :一 2 十 QKQK 即 得 到 后 继 可 行 迭 代 点 2K 十 1， 
最 后 讨论 拉 格 朗 日 乘 子 的 估计 . 由 定理 [B9| 知 , 在 极 小 点 z* 处 成 立 


一》 达 Via(z 0 >》 XVoi(z9)， (10.55) 


1E 五 ZET* 


其 中 六 >0zE 产 ={|gi(z*)=0} 记 

















Vc(Z”) 三 [YAa(z)， UVj( ON) Voi(z (GE 六 )|， 
站 二 CO， CD 2 (1 ,ULD Xi (人 G 和 


那么 可 以 写成 YAHF(z*) = Vce(z. 由 广义 道 知识 可 得 其 极 小 最 小 二 乘 
解 巡 = [Velz9l+VAz). 因此 , 计算 相应 的 乘 子 估计 





玖 一 (At) 一 [Vc(zhlr VCzh) 410.56) 





下 面 给 出 广义 简约 梯度 法 的 详细 计算 步 又 . 

算法 29 (广义 简约 梯度 法 ) 

步 0 选取 初始 值 . 给 定 初始 可 行 点 ZoERv,0Xs< 巡 1. 今 大 :=0. 

步 1 检验 终止 条 件 . 确定 基 变 量 ZE 和 非 基 变量 ZN. 由 起 计算 简约 梯 
度 r(z 训 ). 车 |r(z 训 | < =， 则 zx 为 近似 极 小 点 ， 停 算 

步 2 确定 搜索 方向 . 由 计算 下 降 可 行 方向 不 . 
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步 3 进行 线 搜索 . 解 子 问 题 得 步 长 因子 ak 令 ZRH :一 2 十 QQK 

步 4 修正 有 效 集 . 先 求 Th+l 处 的 有 效 集 ， 设 为 到 41. 由 计算 Xk. 若 
AH 过 0 则 天 = 有 否则, 7 是 有 Hi 中 删 去 Ai+l 最 小 分 量 所 对 应 的 约束 
指标 集 . 

步 5 令 天 :一 大 十 1 转 步 1. 

















注 (1) 在 算法 加 的 步 2 中 , 当 |r(zi|| < < 时 , 实际 还 需要 判别 对 应 于 不 
等 式 约束 的 拉 格 朗 日 乘 子 的 非 负 性 , 若 不 满足 还 需 进行 改进 .(2) 广义 简约 梯度 
法 通过 消去 某 些 变量 在 降 维 空间 中 运算 , 能 够 较 快 确定 最 优 解 , 可 用 来 求解 大 型 
问题 , 因而 它 是 目前 求解 非 线性 优化 问题 的 最 有 效 的 方法 之 一 . 























习 题 10 


1， 设 有 下 列 最 优化 问题 


min jz) =2Z2 十 Zil72 十 222 一 6z1 一 27z2 一 1273， 
S.. 冰 革 十 Z2 十 23 三 2; 
闻 工 一 272 莹 一 3， 


21; 72,273 之 0. 





求 出 在 点 互 = (1,10)7 处 的 一 个 下 降 可 行 方向 . 
2， 用 Zoutendijk 方法 求解 下 列 问题 : 








(min jz) 三 2Z3 十 422 一 3471 一 3272， 
St. 一 271 一 Z2 十 6 之 0， 
一 22 十 2 之 0， 


21 之 0,22 0. 
取 初 始点 为 必 0 一 (1 2 





(2) min jz) 三 2 十 2Z2 一 2Z102 一 271 十 372， 
st 一 1 一 Zo 十 3>0， 
一 Z1 一 522 十 6 之， 


21,22 过 0. 


取 初 始点 为 必 0 一 (2, 0). 
3， 用 梯度 投影 法 求解 下 列 优化 问题 : 
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(1) min jz) =22 十 2z2 十 2Zl2o 一 6z1 一 27z2 一 1273， 
St. 2Z1 十 Z2 十 Z3 一 2 一 0， 
21 一 202 十 3 之 0， 
2Z1,2Z2, 73 之 0. 
取 初 始点 为 zo = (1,0,1)7. 
(2) min jz) = (4 一 za)(zl 一 3)2， 
St. 一 21 一 ZX2 十 3>0， 





_z 二 2>0， 
二 2>0， 
Z1,22 过 0. 


取 初 始点 为 m 二 (12)7 
4 用 简约 梯度 法 求解 下 列 问 题 : 
(1) min jz)=(zi 一 2)2 十 (za 一 2)2， 
S.t. 一 01 一 22 十 2 之 0， 





21,22 之 0 


(2) min jz)=2Z4 十 2 一 221 一 472， 
S.. 一 021 一 02 十 相 这 0， 
Z1,22 之 0 


5， 设 (zx, dr) 是 下 列 线性 规划 


Inin 2， 
st Vond 一 >z<0， 
Voi(zhd+z>0TETzh)， 


一 1 过 由 去 1 


























的 最 优 解 且 罗 < 0, 这 里 FT(zk) = fgi(zb) = 0}. 试 证 明 改 是 下 列 问题 


二 
st， gi(Z) 二 0 一 1 7 
在 zx 处 的 一 个 下 降 可 行 方向 . 


6. 证 明 关 于 投影 矩阵 妃 的 如 下 性 质 : 
(1) 知已 < 了" 是 投影 矩阵 ， 则 尸 是 半 正 定 的 ; 
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(2) 移 阵 尸 是 投影 矩阵 的 充 要 条 件 是 Q = 了 工 - 书 是 投影 矩阵 . 
(3) 设 己 是 投影 矩阵 , 则 











厂 :={PzlzeR"} 与 于:={T--P)zlzeR"} 

















相互 正 交 , 而 且 VYz E 到 ”可 唯一 分 解 为 zZ=y 十 2 VE 了 2 ET 
7.， 对 任 一 ze 了 "在 子 空间 元 上 的 正 交 投影 证 明 ||z - y 性 = ip |z 一 2 
8. 设 XCR" 是 闭 凸 集 , 证 明 下 面 的 不 等 式 : 
(1) [Px(o) 一 zy Prx(z]>0VYzeR"， VEXi 
(2) [Px(z) 一 Pr zz 一 切 >|Px(z) 一 Px(Og2 Yz,y ee 到" 


9.， 用 广义 简约 梯度 法 解 下 列 优化 问题 





























min jz)=23 十 2zlza 十 z2 十 1221 一 4zz 十 3， 
st， 2Z1 一 2 一 0， 
工 区 化 1 所 3， 


“1 89 ， 


第 十 一 和 量 ” 二 次 规划 





二 次 规划 是 非 线性 优化 中 的 一 种 特殊 情形 , 它 的 目标 函数 是 二 次 实 函数 , 约 
束 函 数 都 是 线性 函数 . 由 于 二 次 规划 比较 简单 , 便于 求解 ( 仅 次 于 线性 规划 ), 并 
且 一 些 非 线性 优化 问题 可 以 转化 为 求解 一 系列 的 二 次 规划 问题 ( 即 本 书 第 十 二 章 
所 介绍 的 “序列 二 次 规划 法 ”), 因此 二 次 规划 的 求解 方法 较 早 引起 人 们 的 重视 ， 
成 为 求解 非 线 性 优化 的 一 个 重要 途径 . 二 次 规划 的 算法 较 多 , 本 章 仅 介 绍 求解 等 
式 约 束 凸 二 次 规划 的 零 空 间 方法 和 拉 格 明日 方法 以 及 求解 一 般 约 束 凸 二 次 规划 
的 有 效 集 方法 . 












































11.1 等 式 约 束 凸 二 次 规划 的 解法 
我 们 考虑 如 下 的 二 次 规划 问题 


Imin 二 ZL 7 十 cL7， 
2 (11.1) 


st. 47 一 中 












































其 中 万 e 了 "7 对 称 正 定 , 4 Ee 及 mxn 行 满 秩 , cz E 及 "DeE 了 7m.、 本 节 我 们 介绍 
两 种 求解 问题 的 数值 方法 , 即 零 空 间 方 法 和 值 空间 方法 〈 通 常 称 为 拉 格 明 
日 方法 ) . 





























11.1.1 ” 零 空 间 方法 


设 zo 满足 4zo = 凡 记 4 的 零 空 间 为 





N(4)={zeR"|4z=0 
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则 问题 (的 任 一 可 行 点 > 可 表示 成 = ao 二 2, > < N(). 这 样 , 问题 
可 等 价 变形 为 
min 2 古 Z 十 刀 (c 十 万 zo)， 
s.t. 4z 三 0. 
令 2Z ERn?xe-m 是 NO4I) 的 一 组 基 组 成 的 抢 阵 , 那么 , 对 任意 的 d e 了 "一 m， 
有 z= 2Zd e W(4). 于 是 问题 变 为 无 约束 优化 问题 


























1 
min 5 (2 互 F]d 十 唉 [1230c 二 万 zo)]. (11.3) 


容易 发 现 , 当 瑟 半 正 定时 , 27 厅 2 也 是 半 正 定 的 . 此 时 , 若 必 是 的 稳 
定点 , dx 也 是 的 全 局 极 小 点 , 同时 z* = zo 十 2Zd* 是 的 全 局 极 小 点 ， 
= 4+( 互 z 十 c) 是 相应 的 拉 格 朗 日 乘 子 , 其 中 4+ 是 矩阵 4 的 Penrose 广义 
逆 . 由 于 这 种 方法 是 基于 约束 函数 的 系数 矩阵 的 零 空 间 , 因此 把 它 称 之 为 零 空 间 
方法 . 

余下 的 问题 就 是 如 何 确定 可 行 点 zo 和 零 空 间 W(4) 的 基 和 矩阵 Z. 有 多 种 方 
法 来 确定 这 样 的 zo 和 2. 我们 在 此 介绍 1974 年 Gil 和 Murry 所 提出 的 一 种 方 
法 , 即 先 对 47 作 QR 分 解 


和 四 = [eu ez| 


其 中 , Q 是 一 个 m 阶 正 交 阵 , 尺 是 一 个 mm 上 三 角 阵 ,，Ql e 及 "xm QE 了 肥 "x( 一 mm). 
那么 确立 zu 和 2 为 















































已 
0 


， (11.4) 












































必 0 一 QI 必 三 C2， (11.5) 
同时 有 





才 二 二 下 (11.6) 
F 面 写 出 零 空 间 方 法 的 算法 步骤 : 


算法 30 ( 零 空 间 方法 ) 

步 0 数据 准备 . 确定 算 阵 万 , 4 和 向 量 c, 

步 1 由 对 47 进行 @R 分 解 , 得 Qi, Q 和 尺 . 

步 2 按 计算 可 行 点 Zo 和 零 空 间 N(4) 的 基 短 阵 2。 
步 3 求解 无 约束 优化 子 问题 得 解 必 . 





191 ， 





第 十 一 章 。 二 次 规划 811.1 等 式 约 束 凸 二 次 规划 的 解法 








步 4 计算 全 局 极 小 点 储 二 Zoo 二 Gadr 和 相应 的 拉 格 朗 日 乘 子 六 = 4+( 万 zx 十 


c), 其 中 4+ 由 下 1.6 确定 


11.1.2 ” 拉 格 明日 方法 及 其 Matlab 程序 


下 面 我 们 来 推导 用 拉 格 朗 日 乘 子 法 解 问题 的 求解 公开 . 
首先 写 出 拉 格 朗 日 函数 : 











工 
了 (2, 入) 一 5 五 7 +crz 一 X (4z 一 吸 ， (11.7) 
今 
VazD(Z， 入 ) 二 0， VAZL(T， 入 ) 一 0， 
得 到 方程 组 
zz 一 41TA = 一 c， 
一 47 一 一 0. 


将 上 述 方程 组 写成 分 块 矩阵 形式 : 


和 


我 们 称 上 述 方程 组 的 系数 算 阵 





为 拉 格 朗 日 矩阵 ， 
下 面 的 定理 给 出 了 线性 方程 组 (EL 副 有 唯一 解 的 充分 条 件 


定理 54 设 瓦 ERR"xn 对 称 正定 , 4 E 了 mxn 行 满 秩 . 若 在 问题 人 1.] 的 解 
2* 处 满足 二 阶 充分 条 件 , 即 















































dFd>0 VdeR" adX 关 0 4d = 0， 











则 线性 方程 组 的 系数 矩阵 非 奇 异 , 即 方程 组 有 唯一 解 . 
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证 设 (dz>) 是 下 面 的 齐 次 线性 方程 组 的 解 : 


| 商 了 四 
二 是 (11.9) 
一 凡 0 色 


FFd-42=0，4d=0. 


故 
dFPd=d47y=0，4d=0. 


于 是 由 二 阶 充 分 性 条 件 必 有 qd = 0. 从 而 
417 = 末 d = 0. 


注意 到 4 行 满 秩 , 故 必 有 ， = 0. 由 此 可 知 , 齐 次 线性 方程 组 只 有 零 解 ， 
此 其 系数 矩阵 必然 非 奇 异 . 证 毕 . 

下 面 我 们 来 导出 方程 的 求解 公式 . 根据 定理 拉 格 朗 日 矩阵 必然 是 
非 奇异 的 , 故 可 设 其 递 为 



































玉 -4 「e -mr 
EN 
划 等 式 
二 | | 这 | | 二 
加 让 | = 束 沁 加 
可 得 


万全 二 丰 有 
三 并 人 二 和 区 三 
于 是 由 上 述 4 个 等 式 得 到 和 阵 G, B,C 的 表达 式 


G = 万 -一 万 -47(4 万 147)74 万 -1 (11.10) 
妃 = (4 万-14 人 -14 厅 -1 (11.11) 
C = 一 (4 厅 -147)71 (11.12) 
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因此 , 由 位- 引 可 得 解 的 表达 式 


一 Ge 十 BI0 
忆 c 一 CD 


其 中 G, B,C 分 别 由 (1.10， 和 给 出 . 

下 面 给 出 去 和 X 的 另 一 种 等 价 表达 式 ， 设 zx 是 问题 (的 任 一 可 行 点 ， 
即 zx 满足 4 你 = 六 而 在 此 点 处 目标 函数 的 梯度 为 % = VJ(zp) = 万 和 十 c. 利 
用 zx 和 9, 可 将 改写 为 


元 2 一 CGO 
国民 二 . (11.14) 
忆 Ir 


， (11.13) 
































下 面 我 们 给 出 求解 等 式 约 束 二 次 规划 拉 格 朗 日 方法 的 Matlab 程序 . 





程序 16 本 程序 用 拉 格 朗 日 方法 求解 等 式 约束 条 件 的 二 次 规划 问题 . 


function [x,1am,fval]j=qlag(H,A,b,c) 

% 功能 : 用 拉 格 朗 日 方法 求解 等 式 约束 二 次 规划 : 

办 min 节 (X)=0.5*kX)?Hx+c2X，S. 七 . AXx=hb 
% 输 入 : H,c 分 别 是 目标 函数 的 矩阵 和 向 量 ，A,b 分 别 是 
从 约束 条 件 中 的 和 矩阵 和 向 量 
% 输 出 : (xx，1lam) 是 KT 点 ，fval 是 最 优 值 . 
IH=inv(H) ; 

AHA=A#k 工 HkA ”> ; 

IAHA=inv(AHA) ; 

AIH=A*kIH ; 

G=IH-AIH?*IAHA*AIH ; 

B=IAHA*AIH ; 

C=-IAHA ; 

X=B #b-Gkc ; 

工 am=B#kc-Ckb ; 


fEVal=0O . 5 站 又 ?水 再 水 X 十 C ?六 广 ; 


























我 们 利用 上 述 程序 求解 一 个 二 次 规划 问题 . 
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例 32 利用 程序 [6| 求 解 下 列 问题 
min 2Z1 十 222 十 23 一 22172 十 Z3) 
S. 必 . 21 十 Ooa 十 3 一 二 ， 


271 一 22 十 23 一 2. 


0 0 2 工 


在 Matlab 命令 窗口 依次 输入 : 
H=[2 -2 0;-2 4 0; 0.0 2]; 
c=[0 0 1] ，; 

A=[1 1 1;2 -1 菇 ; 
b=[4 2] ，; 
[x,1am]=qlag(H,A,b，,cy) 


11.2 ”一般 凸 二 次 规划 的 有 效 集 方 法 


考虑 一 般 二 次 规划 
| 
min 二 ZL 厅 z 十 cz， 


5 (11.15) 


2 


azX 一 让 过 01ET= 人 1 十 1 7 
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其 中 互 是 ? 阶 对 称 阵 . 记 1lz9] = 位 |od 六 一 =02E 丰 下 面 的 定理 给 出 了 
问题 的 一 个 最 优 性 充 要 条 件 , 其 证 明 可 参见 文献 加. 


定理 55 z* 是 二 次 规划 问题 的 局 部 极 小 点 当 且 仅 当 
(1) 存在 NE 了 m, 使 得 
































五 发 十 c 一 > 和 ai 一 > 和 ai 三 0， 
iE 万 iET 

ax 一 太一 0,1E 瑟 ， 

az* 一 记过 0,1E7 


六 >0ie 闪 =0ieTNTz 


(2) 记 





S={deR?Af0lda =0iePEida>oierzidrau =0iecrz) 且 六 >01， 











则 对 于 任意 的 deS, 均 有 性 厅 d > 0. 
容易 发 现 , 问题 是 凸 二 次 规划 的 充 要 条 件 是 豆 半 正 定 . 此 时 , 定理 
的 第 二 部 分 自然 满足 . 注意 到 四 优化 问题 的 局 部 极 小 点 也 是 全 局 极 小 点 的 性 
质 , 我 们 有 下 面 的 定理 : 
定理 56 xz* 是 凸 二 次 规划 的 全 局 极 小 点 的 充 要 条 件 是 zi* 满足 KT 条 件 ， 
即 存 在 X* E 玉 m, 使 得 






































万 Zr* 十 cC 一 》》Xai 一 》 Xiai 一 (0， 
iE iE7 

az* 一刻 一 0， 1 E 也 ， 

ax 一 久之 07E7， 


六 >0ie7i 六 =0ieTNT(z)， 





下 面 我 们 介绍 求解 一 般 凸 二 次 规划 问题 的 有 效 集 方法 及 其 Matlab 实现 . 


11.2.1 ”有 效 集 方法 的 理论 推导 
首先 引入 下 面 的 定理 , 它 是 有 效 集 方法 理论 基础 , 其 证 明 可 参见 文献 四. 
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定理 57 设 太 是 一 般 凸 二 次 规划 问题 人 11.15 的 全 局 极 小 点 ,， 且 在 zr 处 的 
有 效 集 为 S(z”) = 已 UT(z)， 则 2Z* 也 是 下 列 等 式 约 东 凸 二 次 规划 
， 工 > T 
min 二 太 忆 7 十 c 0 
2 (11.16) 
st ad7 一 一 0,iE9(z9) 


的 全 局 极 小 点 . 











从 上 述 定理 可 以 发 现 , 有 效 集 方法 的 最 大 难点 是 事先 一 般 不 知道 有 效 集 
S(2), 因此 只 有 想 办 法 构造 一 个 集合 序列 去 远近 它 . 即 , 从 初始 点 zo 出 发 ， 计 
算 有 效 集 95(zo), 解 对 应 的 等 式 约束 子 问题 . 重复 这 一 做 法 , 得 到 有 效 集 序列 
{S(zhi) 天 = 01 ,使 之 S(zh) 一 5S(z), 以 获得 原 问题 的 最 优 解 . 

基于 上 述 定理 , 我 们 分 4 步 来 介绍 有 效 集 方法 的 算法 原理 和 实施 步 又 . 

第 1 步 . 形成 子 问题 并 求 出 搜索 方向 改 . 设 zx 是 问题 的 一 个 可 行 点 ， 
据 此 确定 相应 的 有 效 集 各 = 三 U T(ZAh)， 其 中 T(Zk) 一 {|of zx 一 ji 三 0,7E 了 上 求 
解 相 应 的 子 问题 

































































| 
min 二 2 7 十 cz7， 
“ (11.17) 
st az 一 玉 王 0,7E 9 


2 


工 
min okr(dg) = 二 d2 DCToid， 
“ 人 江 江 全 
总 add 一 0, 7 E Oh 


其 中 zZ = 人 十 dd 外 一 Go 十 c. 设 求 出 问题 的 全 局 极 小 点 为 ,和 Xx 是 对 
应 的 拉 格 朗 日 乘 子 . 

第 2 步 . 进行 线 搜索 确定 步 长 因子 ax. 假设 改 夭 0, 分 两 种 情形 讨论 . 

() 若 浆 十 居 是 问题 的 可 行 点 , 即 





0 (大 十 四) 一 让 =0iE 五 及 of( 帮 十 di) 一 下 >07ET 


则 令 ax = 1 zk 三 2 十 帮 . 

(2) 若 欢 十 不 是 问题 的 可 行 点 , 则 通过 线 搜索 求 出 下 降 最 好 的 可 
行 点 . 注意 到 目标 函数 是 凸 二 次 函数 , 那么 这 一 点 应 该 在 可 行 域 的 边界 上 达到 . 
因此 只 要 求 出 满足 可 行 条 件 的 最 大 步 长 ok 即 可 . 
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当 ? E 允 时 ,对 于 任意 的 or >0, 都 有 对 人 =0 和 of(zkTakdk) = af zk 一 已 ， 
此 时 , ak > 0 不 受 限制 . 当 ; & Sx 时 , 即 第 ;个 约束 是 严格 的 不 等 式 约束 , 此 时 要 
求 ax 满足 of (zx 十 akdk) 之 Di 即 











Qkal Cd 之 bi 和 QT 全 人 97， 


注意 到 上 式 右 端 非 正 , 故 当 ardu > 0 时 , 上 式 恒 成 立 . 而 当 azdu < 0 时 , 由 上 式 
可 解 得 











Di 一 ad ZK 
人 az CQK 
故 有 - 
上 二 证 &i 一 Qi ZE | 
如 三 mi 人 全 ai du < 中 
合并 (1) 和 (2) 可 得 
of 一 Imin{1, ak 上 (11.19) 


第 步 . 修正 7 当 CQ 一 |， 有 效 集 不 变 ， 即 KAI :一 7. 而 当 oj < 必 工 时 ， 








故 o 咏 (zx 十 akdk) = bi 因此 在 zksl 处 增加 了 一 个 有 效 约束 , 即 Se4l := SU 
第 4 步 . 考虑 必 =0 的 情形 . 此 时 zx 是 问题 的 全 局 极 小 点 . 和 若 这 时 
对 应 的 不 等 式 约 束 的 拉 格 衣 日 乘 子 均 为 非 负 , 则 zx 也 是 问题 的 全 局 极 小 
点 , 友 代 终止 . 否则 , 如 果 对 应 的 不 等 式 约 束 的 拉 格 衣 日 乘 子 有 负 的 分 量 , 那么 需 
要 重新 寻找 一 个 下 降 可 行 方向 ， 
设 A < 0, 大 ET(zp).， 现在 要 求 一 个 下 降 可 行 方向 r, 满足 gtdx < 0 且 
ol 办 =0V7eEEBiayd >0VY7 ETr(zh). 为 简便 计 , 按 下 述 方式 选取 du: 


























0 (ZE 十 作 ) > Dj 
0 ( 共 十 四) 一 轨 YE SG 关 思 ， 


有 


0 了 人 > 0， 
(11.20) 


07 dh 站 0， VI7 二 7 天 JI 


198 ， 


第 十 一 章 二 次 规划 811.2 一般 凸 二 次 规划 的 有 效 集 方法 

















另 一 方面 , 注意 到 zk 是 子 问题 的 全 局 极 小 点 , 故 有 


万 zx 十 c- >》 Xai = 0， 


1E9K 
即 
一 45AR， 
其 中 


大 = (oa 和 =( 人 (Jia 


47 Cd 一 > (ayan) 6E1 一 (oj cd) CE7， 


JESK 


于 是 有 





地 dr 一 和 KE (oa dp) 6 站 一 和 7 (af dk) < 0. 


上 式 表明 , 由 确定 的 吸 是 一 个 下 降 可 行 方向 . 因此 , 令 34 = SN{7}, 则 
修正 后 的 子 问 题 














工 
Imin dk(dg) 一 5d 瑟 4 十 gd， 
st. adfd=07E5 


的 全 局 极 小 点 必然 是 原 问题 的 一 个 下 降 可 行 方向 


11.2.2 ”有效 集 方法 的 算法 步骤 
经 过 上 面 的 分 析 和 推导 , 我 们 现在 可 以 写 出 有 效 集 方 法 的 算法 步骤. 
算法 31 (有 效 集 方法 ) 


步 0 选取 初 值 . 给 定 初始 可 行 点 ZoE 了 ", 令 大 :=0. 
步 1 解 子 问题 . 确定 相应 的 有 效 集 了 % 三 UT(zh), 求解 求解 子 问 题 























| 
Imin du(d) 二 5d 瓦 q 十 gd 
st aad 一 0,1ESk， 
得 极 小 点 吸 和 拉 格 朗 日 乘 子 向 量 Xk. 若 鸣 夭 0 转 步 3; 否则 , 转 步 2. 
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步 2 检验 终止 准则 . 计算 拉 格 朗 日 乘 子 





入 一 忆 K91， 
其 中 
铸 三 妃 k 十 6 天 = 三 (4 瑟 4 一 4 =(oqies， 
令 


(Ai = min {(Xe)i 


车 (Xejt 过 0, 则 zx 是 全 局 极 小 点 ， 停 算 . 否则 , 若 (Xpji < 0, 则 令 Sr := SAN{t， 
转 步 1. 
步 3 确定 步 长 CQ ， 令 ak 一 min{1, ax， 其 中 


_ ，[ 玉 一 of zx 
只 一 mn 一 一 一 一 


?9 az CQ 





az cd 所 中 


令 THHl :一 2 十 QQK. 
步 4 若 QK 一 业 则 令 ON 一 OK; 否则 ， 若 ak 所 二， 则 令 KAI 一 9 UT{ 从 衣 其 
中 久 满足 


砚 
0 一 0 了 2 
一- 一 一 一 一 


QI 
步 5 令 大 :一 大 十 1 转 步 十 
下 面 给 出 算法 B 的 收敛 性 定理 . 


定理 58 假设 问题 中 的 天 阵 万 对 称 正 定 . 若 在 算法 四 ]| 每 步 和 迭代 中 
的 矩阵 











水 二 (ai 
列 满 秩 , 且 ok 天 0, 则 算法 B1] 在 有 限 步 之 内 得 到 问题 fl1.1 吕 的 全 局 极 小 点 . 


证 注意 到 , 若 四 = 0 则 xx 是 子 问题 的 KT 点 和 全 局 极 小 点 . 着 
大 夭 0 且 oz =1 则 Si = So 这 时 关于 zk+i 的 子 问题 仍 为 人 1.1 加 , 所 以 , zk 
是 的 全 局 极 小 点 .只 有 当 ax < 1 时 ,zhi 才 不 是 的 全 局 极 小 
点 , 但 这 时 要 加 进 一 个 约束 , 形成 新 的 子 问 题 . 这 样 的 过 程 最 多 连续 凤 次 , 因为 这 
时 子 问 题 至 少 有 7m 个 等 式 约 束 , 从 而 六 为 唯一 的 可 行 点 , 因而 是 对 应 的 子 问题 
的 全 局 极 小 点 . 

















200 ， 


第 十 一 章 二 次 规划 811.2 “一般 凸 二 次 规划 的 有 效 集 方法 


另 一 方面 , 子 问题 虽然 约束 条 件 在 变化 , 但 其 目标 函数 与 原 问题 
是 一 致 的 . 由 于 ax 天 0, 故 每 次 迁 代 目标 函数 值 减少 , 再 注意 到 万 正定 ， 
因此 子 问题 的 全 局 极 小 点 是 唯一 的 , 从 而 不 会 出 现 子 问题 的 全 局 极 小 点 被 两 个 不 
同 的 zx 达到 的 情形 , 而 约束 个 数 的 有 限 性 保证 了 有 效 集 S, 不 同 个 数 的 有 限 性 
因此 , 不 失 一 般 性 , 设 有 效 集 8 不 同 个 数 为 No, 那么 不 同 子 问题 的 个 数 也 为 No， 
故而 , 迭代 至 多 在 Non 步 之 后 , zx 遍历 所 有 子 问题 的 全 局 极 小 点 . 由 定理 加 知 ， 
算法 加 ]] 在 有 限 步 之 内 达到 问题 的 全 局 极 小 点 ， 





















































例 33 用 有 效 集 方法 求解 下 列 二 次 规划 问题 


min jz) 三 2 一 Zi172 十 222 一 01 一 10z2， 
S.t. 一 3271 一 272 之 一 6， 


21 之 0，7Z2 之 0. 


解 首先 确定 矩阵 妃 和 癌 量 c: 


本 


取 初 始 可 行 点 zo = (0,0). 在 zo, 有 效 集 5o = {2,3}. 求解 相应 的 子 问 题 











Iain df 二 did 十 2013 di 一 10a。>， 
S 怀 . ai 二 0U， ao2 三 少 . 


得 解 do = (0;,0)7. 因此 , zo 是 相应 的 子 问 题 的 最 优 解 . 计算 拉 格 朗 日 乘 
子 . 由 So = {2,3} 知 


1 0 一 | 
4o = (aijicso 一 | 0 三 万 zo 二 c== 


| = [(4o1 40)4o8 go 一 | ， 
交 辣 和 


由 此 可 知 , zo 不 是 所 求 问题 的 最 优 解 . 
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将 (Xo)s = -10 对 应 的 约束 , 即 原 问题 的 第 3 个 约束 从 有 效 集 So 中 去 掉 , 置 
= {2}, 再 解 相 应 的 子 问题 : 





| min 妈 一 dd 十 262 一 中 一 10d2， 


S 怀 . ai 三 放 ， 


得 解 四 = (0 证 
由 本 Q0 关 0U， 需要 计算 步 长 CQ0. 注意 到 























Q ， 一 mm 人 | 人 50; q; mu<0| 





故 ao = min{fl ay=1. 令 


这 5 
站 三 而 于 反面 三 位 而 +1. (0 = (0 ) 


计算 出 9 = VJ(zi) = (=- ， | 
ao = 了 置 9 = {2j(= so. 在 zi 处 ,计算 相应 的 拉 格 朗 日 乘 子 .此 时 
41 一 (1;,0)， 那么 ， 








7 
0aDs= hiEr-249J-4E-o = 一 2 








由 于 (Xi) < 0, 故 zi 不 是 问题 的 最 优 解 . 于 是 将 指标 2 从 3 中 剔除 掉 , 则 更 新 
后 的 5; = 分 再 解 相应 的 子 问 题 


7 
IIin cd < did。 十 2d2 站 5 中， 





得 解 向 量 由 = (2， 习 这 














2 F、 WA 
由 于 di 坟 0, 需要 计算 步 长 al. 注意 到 
下 一 azzil. 
CQ 一 mn 古 ， 中 & sea <0 
-6-(-3,-2) (0,25) 1 
(-3, -2) (2057 了- 
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ol = min{fl,G} = =. 

令 
5N\7 1 工 1\ 工 2 18\ 了 
i2 一 Zaad = (0 > + 了 (2， 5) 人 村 ， 


计算 出 ga = Vjza) = 一 3， 员 。 
在 z? 处 , 第 一 个 约束 是 有 效 约束 , 即 9 = {1} 解 相应 的 子 问 题 





| min 好 一 dd 二 282 一 3d1， 


S. 必 . 3d1 = 2d。 一 0. 


3 9 
14” 28 





了 
得 解 向 量力 = ( ) . 计算 步 长 ao 








lb 
an 人 see< 
2 
2 18N\7 18 
0-(0D (2 了 了) -了 
ww 
fu ES | 28 
故 
oa2 一 Imin{1,G} = 工 . 
令 


2 18A\ 工 
3 一 2 十 aodo2 一 E | 


证 阁 机 克 避 二 二 本 全 


2 
在 点 za 处 , 计算 相应 的 拉 格 朗 日 乘 子 . 此 时 S; = {1}，43 = (一 3, -2), 那么 


和》? 一 [(43 万 -143-143 万 -9s 一 > 0. 


加 一 (2 
14” 28/ 2 4/ 


1 9 


因此 zs = (3 ) 是 所 求 的 最 优 解 
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11.2.3 ”有 效 集 方 法 的 Matlab 程序 


由 于 有 效 集 方法 是 求解 凸 二 次 规划 问题 的 一 种 值得 推荐 的 方法 , 本 节 给 出 有 
效 集 方法 的 Matlab 程序 . 在 实际 使 用 有 效 集 方法 求解 凸 二 次 规划 时 , 一 般 用 渐 
进 有 效 集约 束 指标 集 代 蔡 有 效 集约 束 指标 集 , 即 取 {E 了 atz 一 玉 么 <s} 近似 代 
蔡 7T(z*), 其 中 <s > 0 是 比较 小 的 常数 . 这 样 做 的 好 处 是 使 得 迭代 步 长 不 至 于 太 
短 . 此 外 , 算法 B 还 需要 确立 一 个 初始 可 行 点 . 可 采用 下 述 方法 : 给 出 一 个 初始 
估计 点 亏 E 及", 定义 下 列 线性 规划 

































































Imin e7 2， 
st a77 十 万 为 一 太一 0iE 瓦 = 人 1 
t } (11.21) 
az7 十 刀 一 太 >0iE7T=f 亿 十 1 70 ， 


2 之 0 ,2m 之 0， 


其 中 , e = (1 攻 记 = 一 sign(aj 王 一 四) E 五 问题 的 一 个 初始 可 行 
尼 一 元 为 一 ao 一 四 (GE 万 ; 志 =maxfu 一 ai 0 (Ge 门 . 
不 难 证 明 , 如 果 记 是 问题 的 可 行 点 , 那么 (2 0) 是 子 问题 的 最 优 
解 . 反之 , 如 果 问 题 有 可 行 点 , 则 问题 (1.2 孙 的 最 优 值 为 0, 从 而 子 问题 

的 任何 一 个 解 产 生 问题 [LI 的 一 个 可 行 点 ， 

下 面 给 出 用 有 效 集 方法 求解 一 般 凸 二 次 规划 问题 的 Matlab 程序 , 在 某 种 意 
义 下 , 该 程序 是 通用 的 . 

程序 17 本 程序 主要 适用 于 求解 一 般 约 束 条 件 下 的 丁 二 次 规划 问题 . 

















function [Xx,1Lamk,exitflag,output]j=qpact(H,c,Ae,be,Ai,bi,xO) 
% 功 能 : 用 有 效 集 方法 解 一 般 约 束 二 次 规划 问题 : 


W/ min 节 (X)=0.5X) 沙 可 #kX+C 六 X， 




















办 S. 七 . a)_ikX-b_i=0,(i=1,... ,1)， 

办 a)_i#rkxX-b_i>=0,(i=1+1,，... ,了 ) 

% 输 入 : x0 是 初始 点 ，H，c 分 别 是 目标 函数 二 次 型 矩阵 和 向 量 ; 

MX Ae=(a_1,...,a 1)，， be=(b_1,...,b_1)，; 
Ai=(a_{fl+1}+,，...，am)，bi=(b_{tl1+l}+,.. .bm)，. 

Y 输 出 : x 是 最 优 解 ， lambda 是 对 应 的 乘 子 向 量 ; output 是 结构 变量 ， 

从 输出 极 小 值 E(x) ， 和 迭代 次 数 K 等 信息 ，exitflag 是 算法 终止 类 型 
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22X23XXXXX%X%%X%%X%%% 主 程序 开始 3 和 芝 和 基 区 区 和 攻 蕉 区 区区 区 

% 初始 化 

epslilJon=1.0e-9; err=1.0e-6 ; 

K=0; X=Xx0;  Dn=JIength(x); kmax=1.0e3; 
De=JIength(be); ni=1length(bi); 1Lamk=Zzeros (ne+ni,1); 








index=ones (ni,1) ; 
for (i=1:niy) 
if(Ai(i,:)#*Xx>bi(i)+epsilon)，index(i)=0; end 
end 
% 算 法 主 程序 
While (Kk<=kmax) 
% 求 解 子 问题 





Aee=[] ; 
if(ne>0) ，Aee=Ae;i end 
for(j=1:niy) 
if(index(j)>0) ，Aee=[Aee; Ai(j,:)]; end 
end 
gEK=HkX+c ; 
[ml1,n1] = size(Aee) ; 


[dk ,1amk]=qsubp(H,gk,Aee ,zeros (ml1,1)) ; 
if (norm(dqk)<=erL) 
y=0.0; 
if(Length(1Lamk)>ne) 
[y , jk] =min(Lamk(ne+1l:1ength(Lamk))) ; 
end 
if(y>=0) 
exlitfl1ag=0 1; 
else 
exlitflag=l1; 
for(i=1:niy) 
if(index(i)g& (ne+sum(index(1:i)))==jKy) 
index(i)=0; break; 
end 
end 
end 
K=K+1T ; 


elLSse 
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exlitflag=l1; 
% 求 步 长 
alpha=1.0; tm=1.0; 
for(i=1:niy) 
if((index(i)==0) 妈 (Ai(i, :)#dk<0)) 
tm1l=(bi(i)-Ai(T,:)#X)/(CAI(CT，:)*kdKk) ; 
if(tml<tm) 
tm=tm1l1; 七 I=1L; 
end 
end 
end 
alpha=min(alphay,tmy) ; 
X=X+alphakdk ; 
% 修 正 有 效 集 


if(tm<1)，index(ti)=1; end 





end 
if(exitflag==0) ，break;i end 
KX=K+1 ; 
end 
Output .Val=O .5 半 X ? 冰 瑞 炒 X 十 C ”六 X ; 
output .Iter=k; 
XXX%X%% 求解 子 问题 各 2 区 各 2 办 区 区 2 和 
function [x,1ambda]j=qsubp(H,c,Ae,be) 
ginvH=pinv(H) ; 
[m,Dn]=size(Ae) ; 
if(m>0) 
Tb=Ae*kginvH*c + be ; 
Jambda=pinVv(Ae*+kginvHrAe ?)#Trb; 
X=ginVvHk(Ae#*k]1ambda-c) ; 
else 
X=-gInVHk#c ; 
ambda=0 ; 


end 
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注 (1) 关于 上 述 程序 , 在 子 函 数 qsubp 中 , 使 用 的 是 广义 逆 (pinv 是 Matlab 


软件 内 置 的 求 广义 逆 的 函数 ), 这 样 不 仅 可 计算 互 是 奇异 阵 的 情形 , 同时 保 这 
计算 的 数值 稳定 性 . 另外 , 该 子 函数 还 包含 了 子 问 题 为 无 约束 二 次 规划 时 的 解 , 
(2) 使 用 程序 上 ?| 时 , 需要 用 户 提供 所 有 问题 的 目标 函数 和 约束 函数 的 有 关 数 据 ， 
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可 通过 编制 一 个 年 文件 来 解决 . 


例 34 利用 程序 [了 重新 求解 例 B3| 即 





min jz) = 他 一 Zil22 十 273 一 21 一 1072， 
st. 一 371 一 272 之 一 6， 


21 之 0， 7Z2 之 0. 


解 首先 确定 有 关 数 据 : 








编制 一 个 利用 上 述 数据 调用 程序 [9 的 函数 文件 calldpactm 


function calJqpact 

H=[2 -1; -1 4] ; 

c=[-1 -10]，; 

Ae=[ ]; be=[ ]; 

Ai=[-3 -2; 1 0; 0 1 ; 

bi=[-6 0 0] ，; 

XO=[0 0] ，; 
[x,1Lambdqa,exitflag,output]j=qpact(H,c,Ae,be,Ai,bi,XxO) 


然后 在 Matlab 命令 窗口 键入 callqpact, 回 车 即 得 续 








X = 
0.5000 
2.2500 
ambdqa = 
0.7500 
exitf]lag = 
0 
output = 
fval: -13.7500 


iter: 8 


可 以 看 出 , 上 述 结果 跟 例 加 用 手 算是 一 致 的 
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例 35 利用 程序 [可 求 解 下 列 二 次 规划 问题 


1 
min jz) 一 21 一 0172 十 022 一 6Z1 一 272， 


S 必 一 221 一 灾 2 过 一 3， 


2Z1 一 Z2 之 一 | 


该 问题 有 精确 解 rr 一 ( =) ,最 优 值 lz = -8 


解 在 Matlab 命令 窗口 输入 下 列 命 令 : 


H=[L1 -1;-1 2] ; 

c=[-6 -2] ; 

Ai=[-2 =-1; 1 =-13)-1 -2;， 1 0;0 1 ; 

bi=[-3 -1 -2 0 0] |; 

Xx=[0 0] |; 

[x ,Lambdqa,exitflag,output]j=qpact(H,c,[,U,Ai,bi,XxO) 


得 计算 结果 为 





X = 
1.3333 
0.3333 

ambdqa = 
2.4444 
0.1111 

exitf]lag = 
0 

output = 

fval: -8.1111 


Iter: 7 


习题 11 





1.， 用 拉 格 衣 日 方法 求解 下 列 二 次 规划 问题 ; 
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() min jz) =2z1 十 2 十 Za 一 01 一 22， 








S 怀 . Z1 十 2 一 下 








(2) min jz) = 324 一 Z172 十 Z2 一 Za273 十 去 23 十 ZL 十 22 十 3) 
S 必 . 几 1 十 272 十 村 水 衣 | 4. 
2， 用 有 效 集 方法 求解 下 列 二 次 规划 问题 : 











(1 min jz) =9z1 十 9z2 一 307z1 一 72zo2， 
St. 一 221 一 Za2 过 一 4 
2Z1，22 0. 
(2) min jz) =2Z1 一 Zi172 十 22 一 371， 
st. 一 1 一 20o2 之 一 2， 
2Z1，22 过 2. 


3. 证 明 : 若 和 矩阵 





非 奇 异 , 则 4 必 是 行 满 秩 的 ， 

4， 设 矩阵 全 e 了 "xm 对 称 , Ze 及 "x1 w ER 记过 = (2 四, 试 证 明 : 若 和 矩阵 ZT7T7Z 
正定 , 则 矩阵 37T72 半 正 定 . 

5.， 设 4 E 了 mx” 行 满 秩 , ae 玉 ", 证 明 : 二 次 规划 问题 




















Imin 可 (7 一 0)7(z 一 ao)， 
st， 47 一 5 
的 解 以 及 相应 的 拉 格 朗 日 乘 子 分 别 为 : 
za 二 470440)710 一 4 入 = (447)7 0 一 4a). 
6. 设 互 对 称 正定 , X* 是 问题 
Imin 57(47B-A) 一 化 十 4 万 -Tc)7 AN， 
st Xi 之 027E7 


的 解 . 证 明 : 驻 = 一 瓦 -1(c- 4X) 是 问题 


工 
min jz) 三 5 ZTC 0 
st adz 二 piET={ 人 In 


az 一 DIE 巨 ={mai+1 7 
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的 最 优 解 . 
7. 设 人 四 关 0 是 问题 








工 
Imin 50 刀 d 十 VF(zp)7d， 


st add 一 07eS(zh) 























的 最 优 解 , 且 二 阶 充分 条 件 成 立 , 其 中 S(zp) = {ETU 巨 :oo = 证明: 


Fo 十 adkp) < zi va eE (0,1]. 








8. 设 万 ER 了"xn 对 称 正定 , 4 e 了 mxm 行 满 秩 . 


(1) 证 明 珑 阵 
瑟 47 
AI 一 


















































非 奇 异 , 且 
C 万 
PE 三 
其 中 
C = 万 -一 万 -147(4 厅 -147)714 万 -1 
妞 = 万 -147(4 末 -147)71 下 = 一 (4 厅 -147)1. 
2) 证 明 : 和 矩阵 M 有 ?7 个 正 特征 值 , mm 个 负 特 征 值 , 没有 0 特征 值 . 
































(3) 证 明 线 性 方程 组 





等 价 于 下 面 的 线性 方程 组 





(4 万 -147) 入 = 4 厅 -10 一 pp =47 和 一 9. 
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本 章 考虑 求解 一 般 非 线性 优化 问题 





0) 
st、jAi(Z) 三 0,2E 瑟 ={ 人 1 (12.1) 
gi(Z) 过 01E7T= 人 7 


的 序列 二 次 规划 法 (SQP, Sequential Quadratic Programming). SQP 方法 是 求解 
约束 优化 问题 最 有 效 的 算法 之 一 , 其 基本 思想 是 ; 在 每 一 迭代 步 通过 求解 一 个 二 
次 规划 子 问题 来 确立 一 个 下 降 方向 , 以 减少 价值 函数 来 取得 步 长 , 重复 这 些 步骤 
直到 求 得 原 问 题 的 解 . 这 也 是 之 所 以 称 为 序列 二 次 规划 法 的 由 来 . 本 章 主 要 介绍 
SQP 方法 的 基本 思想 、 和 从 代步 骤 和 收 和 敛 性 分 析 . 首先 介绍 求解 等 式 约 束 优化 问 
题 的 牛顿 - 拉 格 朗 日 法 . 

































































12.1 “牛顿 - 拉 格 明日 法 
12.1.1 牛顿 - 拉 格 朗 日 法 的 基本 理论 
考虑 纯 等 式 约束 的 优化 问题 


| min 帮 DZ)， dz 
st Ai(Z) 三 0,1E 瑟 ={ 人 1 





















































其 路 : 了 "一 形态 :R 一 有 Ge 万) 都 是 二 阶 连续 可 微 的 实 函数 ， 记 
jzZ) = (Pa( Zi 人 (z))7, 则 不 难 写 出 该 问题 的 拉 格 衣 日 函数 为 











ZL(z, 和 = jz) 一 >_Haju() = jz) 一 HR(z)， 
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其 中 风 = (0 ,Ai 为 拉 格 朗 日 乘 子 向 量 . 约束 函数 凡 (z) 的 梯度 矩阵 为 
VAhnlz) = |VPa(z)…,VHm(z)|， 


则 mn(z) 的 Jacopi 矩阵 为 4(z) = VA(z)7. 根据 问题 的 KT 条 件 , 可 以 得 
到 如 下 的 方程 组 





VzZ(z， J) Vjz) 一 4(z) 1 
一 玉 (Z) 


现在 考虑 用 牛顿 法 求解 上 述 的 非 线性 方程 组 (2 下， 记 函 数 YLtz,j0] 的 
Jacobi 怎 阵 为 


VZ(Z, JW) 三 











= 0. (12.3) 
VaDtz， 局 ) 





(12.4) 


乞 一 4(Z 氏 
人 ,四 一 4 | 


一 4(Z) 0 
其 中 
丽人 ,0) = Vzz(o 由 一 )- 


是 拉 格 朗 日 函数 Z(z,A) 关于 zz 的 Hesse 阵 ，( 相 所 定义 的 矩阵 NV(z,A) 亦 称 
之 为 KT 抢 阵 . 对 于 给 定 的 点 区 一 (zh Ap， 


2U+1 三 2U 十 Dj (12.5) 
其 中 和 克 = (dr 到 ) 满足 下 面 的 线性 方程 组 


V(OZR AUE)DE 三 一 VELOZR AN)， 








有 





友 ( 吉 两 EC 
一 4(Zp) 0 











一 VJ(zp) 十 4(zN7 012.6) 
PCZH) 

不 难 发 现 , 只 要 和 抢 阵 4(zh) 行 满 秩 且 丈 (zAn) 是 正定 的 , 那么 方程 组 
(2. 轴 ”的 系数 矩阵 是 非 奇异 的 , 且 该 方程 有 唯一 解 . 由 于 KT 条 件 是 拉 格 
朗 日 函数 稳定 点 的 条 件 , 所 以 人 们 通常 把 基于 求解 方程 的 优化 方法 称 为 拉 
格 朗 日 方法 . 特别 地 , 如 果 用 和 牛顿 法 求解 该 方程 组 , 则 称 之 为 牛顿 - 拉 格 朗 日 方法 . 
因此 , 根据 牛顿 法 的 性 质 , 该 方法 具有 局 部 二 次 收敛 性 质 . 


下 面 写 出 牛顿 - 拉 格 朗 日 方法 的 详细 算法 步骤. 
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算法 32 (牛顿 - 拉 格 朗 日 方法 ) 

步 0 选取 7zoE 有 "HER' pyYE(0D)0O<s< 坟 1. 令 8:=0. 

步 1 计算 ‖VYZ(zh pp)l 的 值 . 车 ‖VYZ(zhy pub < es 停 算 . 和 否则, 转 步 2. 
步 2 解 方程 组 得 mx = (du 内) 

步 3 若 

















| 直下 和 区 Yo 原 让 ， (2.71) 


则 置 ax := 1, 转 步 5; 否则 , 转 步 4. 
步 4 令 7mk 是 使 下 面 的 不 等 式 成 立 的 最 小 非 负 整数 mm : 


| 天 十 玖 Ge 大 十 的) 有 和 和 代 下 YE 2.8) 


步 5 令 ZphH 一 人 十 apdk NEHL 一 人 十 ak 置 大 :一 天 十 1, 转 步 1 


12.1.2 ”牛顿 - 拉 格 明日 法 的 Matlab 程序 


本 小 节 通 过 一 个 具体 的 例子 来 介绍 算法 [3( 牛 顿 - 拉 格 朗 日 方法 ) 的 Matlab 
实现 . 


例 36 用 算法 B 引 编程 计算 下 列 最 优化 问题 的 极 小 点 








| 
min jzZ) = ezl172737475 一 5(Z1 十 23 十 1)2， 
st 2 十 22 十 23 十 24 十 28 一 10=0， 
必 2 灿 3 一 DZ425 一 0， 
2Z1+ 十 2 十 1 一 0. 
该 问题 有 最 优 解 z* 一 (一 1.71, 1.59, 1.82, 一 0.763， 一 0.763)7， 重 优 值 Flz*) = 0.0539. 
解 编制 Matlab 程序 如 下 


function [Xx,mu,val,mh,k]=newt1lagr(X0O ,muO) 
% 功能 :用 牛顿 - 拉 格 朗 日 法 求解 约束 优化 问题 : 
人 min f(x)，s.t. h_iGx)=0，i=1,...，1. 
% 输 入 :x0 是 初始 点 ，mu0 是 乘 子 向 量 的 初始 值 
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% 输 出 : x,mu 分 别 是 近似 最 优点 及 相应 的 乘 子 ， 
Y%val 是 最 优 值 ,mh 是 约束 函数 的 模 , 上 是 迭代 次 数 ， 
maxk=500; % 最 大 和 迭代 次 数 

Dn=lLength(x0) ; 1=length(mu0) ; 





Tho=0.5; gamma=0 .4; 

X=XO; mu=muo ; 

Kk=0;  ， epsilon=1le-8; 

While (Kk<maxK) 
dl=dla(x,mu); Y% 计 算 乘 子 函 数 的 梯度 
if(norm(dql)<epsilon) ，break; end 《YY 检验 终止 准则 
N=N1(x,mu); 4% 计算 拉 格 朗 日 矩阵 
dz=-NNdl; Y% 解 方程 组 得 搜索 方向 
dx=dz(1:n); qu=dqz (n+1:n+1) ; 
m=0O ; mK=O ; 
while(m<20)  % Armijo 搜 索 


if(norm(dla(X+Trho”mkdx ,mu+rho”mkdu)) “2<=(1-gammakrho”m)*xknorm(d1) ”2) 














ImK=m;i break; 
end 
m=m+1T ; 

end 

X=X+Tho ”>mKkdx;i mu=mu+rho>~mk#kdu; 

K=K+1T ; 
end 
ValL=f1(x) ; 
mh=norm(h1(x) ,inf); 
00%XYXXX%%X% 拉 格 朗 日 函数 工 (和 ,mu) 30X2X22 区 332 区 
function 1=1a(x,mu) 
f=fl(x); 调用 目标 函数 文件 
h=h1(x); % 调 用 约束 函数 文件 
1=f-mu*h; % 计算 乘 子 函数 
2X%XYXXX%%X% 拉 格 朗 日 函数 的 梯度 XXXXSXXXX XXX 
function dql=dqla(x,mu) 
df=df1l(x); % 调 用 目标 函数 梯度 文件 
h=h1(x); % 调 用 约束 函数 文件 
dh=dh1(x); % 调 用 约束 函数 Jacobi 和 矩 阵 文 件 
dl=[df-dh?#*mu; -h]; % 计 算 乘 子 函 数 梯度 文件 
XXX%XXYXX%% 拉 格 庆 日 函数 的 Hesse 阵 3332 
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function dq21=d21a(x,mu) 

d2f=dq2f1(x);  Y% 调 用 目标 函数 Hesse 阵 文件 

[da2h1 ,dq2h2,q2h3]=dq2h(x) ; % 调 用 约束 函数 二 阶 导数 文件 

d21=q2f-mu(1)*d2h1-mu(2)*dq2h2-mu(3)*d2h3; % 计 算 乘 子 函 数 的 Hesse 阵 

%X%XXXX%X%X% 系数 矩阵 (xmua) 只 XXX 

function N=N1(x,mu) Y% 计 算 拉 格 朗 日 矩阵 

1=1length(mnu) ; 

d21=d21a(X,mu) ; dh=dh1(x) ; 

N=[dqd21，-qdh，; -qdh，zeros(1,1)] ; 

%XXX%XX%XX 目标 函数 工 (x) XXX 

function f=f1(Xy) 

S=X(1)#Xx(2)#kX(3)*kX(4)#Xx(5) ; 

f=exp(s)-0.5#k(Xx(1)>3+Xx(2) ”3+1)>2; 

02 约束 函数 日 (GX) 03322222 

function h=h1(Xy) 

h=[x(1)>2+x(2)`2+X(3)>“2+X(4) ”2+X(5)>2-10;Xx(2)*X(3)-5kXx(4)kx(5);XC1) ”3+X(2)>3+1] ; 

%XXX%XX%XX% 目标 函数 f(Gx) 的 梯度 %XXXXXXXXXXXY% 

function qdqf=df1(x) 

S=X(T)#X(2)#X(3)#*X(4)#X(5) ; 

df(1)=S/(Cx(1))*eXxp(S)-3#k(X(C1) ~“3+X(2) >“3+1)#X(C1) 2; 

df (2)=S/(x(2) )*eXxp(S)-3#k(X(C1) “3+X(2) >“3+1)#X(C2) 2; 

df(3)=s/(X(3))*kexp(S); df1(4)=S/(CX(4))*kexp(S) ; 

df(5)=s/(Cx(5))#exp(S) ; 

df=dqf(:) ; 

XXX%XX%XX 约束 函数 h(x) 的 Jacobi 和 矩阵 人 (XXX XXZXXX2XX2 2 

function qh=dh1(x) 

dh=[2#kx(1) ,2*X(2) ,2+kX(3) ,2*X(4) ,2*kX(5) ;0,X(3) ,X(2) ,-5*kX(5) ,-5kXx(4) ;... 
3*x(1) ”2,3*x(2) "2,0,0,0] ; 

%X%%X%YX%XX%% 目标 函数 于 (x) 的 Hesse 阵 名 和 % 共 区 区区 2 区 

function dq2f=dq2f1(x) 

S=X(T)#X(2)#X(3)#X(4)#X(5) ; 

d2f=[(s/(Cx(1)))>2*keXxp(S)-6#kX(1)*(X(1) “3+X(2) ~3+1)-9*xx(1) 4，..， 
(1+S)*kX(3)#X(4)*kXx(5)#kexp(S)-9#kx(1) >“2+kX(2) 2， (1+S)*kX(2)#X(4)*kx(5)kexp(S)，... 
(1+S)#X(2)#X(3)*X(5)#kexp(S) ，(1+S)#X(2)#kX(3)#kX(C4)*kexp(S); ..， 
(1+S)#+X(3)#+Xx(4)+*x(5)*kexp(sS)-9+kx(1)>2*xx(2)"2，... 
(s/(x(2) ))*2*xexp(S)-6*xXx(2)#(X(1) “3+X(2)>3+1)-9*xX(2) 4，..， 
(1+S)#X(1)#X(4)*kx(5)#kexp(S) ，(1+S)*kXx(1)#kX(3)#kx(5)kexp(S)，..， 
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(1+S)#*X(1)*Xx(3)#X(C4)*kexp(S) ; ... 
(1+S)#*X(2)#X(4)*kXx(5)#kexp(S) ,，(1+S)*X(1)#kX(4)*kx(5)#kexp(S) ,S”"2/(xX(3))*kexp(S)，... 
(1+S)#*X(1)#X(2)*X(5)#kexp(S) ,(1+S)*X(1)#X(2)*X(4)kexp(S); ... 
(1+S)#*X(2)#X(3)*kXx(5)#kexp(S) ，(1+S)*X(1)#kX(3)*X(5)#kexp(S) ，..， 
〈1+S)#X(1)*X(2)#X(5)#keXxp(S) ,S ”2/(X(4))#kexp(S) ，(1+S)X(1)#X(C2)#X(3)exp(S) ; ... 
(1+S)#Xx(2)#+kx(3)#Xx(4)kexp(S),，(1+S)#X(1)#kX(3)#kX(4)kexp(S) ，... 
《1+S)X(1)#X(2)#X(4)#exPp(S) ，(1+S)#kX(1)#kX(2)#kX(3)kexp(S) ,S 2/(X(5))*kexp(S)] ; 
XXXX%Y%X% 约束 函数 hCGx) 的 Hesse 阵 %%XX2333 区 322 区 
function [d2h1 ,qdq2h2 ,dq2h3]=d2h(x) 
d2hl=[20000;02000;00200;00020;00002] 7 
d2h2=[00000;00100;01000;)0000-5;)000-50]); 
d2h3=[6+kx(1) 0 0 0 0;0 6*+kXx(2) 00 0;00000;00000;00000]7; 


利用 上 面 的 程序 , 取 乘 子 向 量 的 初 值 为 lo = (0,0,0), 终止 准则 值 取 为 
|VZ(za pl < 10-2, 对 于 不 同 的 初始 点 得 到 计算 结果 如 下 表 所 示 . 















































初始 点 (zo) 和 欠 代 次 数 (各 | za) 的 值 | aza)l 的 值 

(一 1.71.51.8 -0.6 一 0.6) 1 0.0539 3.2894e-011 
(一 1.7,1.6,1.8, 一 0.7， 一 0.7) 并 1 0.0539 5.9272e-012 
(一 1.8,1.7,1.9, 一 0.8， 一 0.8) 9 0.0539 3.0606e-011 
(一 2,1.5,2, 一 1, 一 1)7 14 0.0539 1.4766e-011 
(一 3,2,3, 一 2， 一 2) 工 16 0.0539 3.6545e-011 


























说 明 Matlab 调用 方式 为 : 在 命令 窗口 依次 输入 如 下 命令 并 回 车 即 得 计算 结 
果 . 


XxO=[-1.7,1.6,1.8,-0.7,-0.7] ; 
muo=[0.1 0.1 0.1] ; 


[x,mu,val ,mh ,K]=newt1agr(x0 ,muoy) 


12.2 SQP 方法 的 算法 模型 


12.2.1 ”基于 拉 格 明日 函数 Hesse 阵 的 SQP 方法 


前 一 节 介绍 的 牛顿 - 拉 格 朗 日 法 , 由 于 每 一 迭代 步 求解 方程 组 (2.8 数值 上 
不 是 很 稳定 , 因此 这 一 方法 并 不 实用 . 但 它 有 一 个 重要 的 贡献 , 就 是 以 它 为 基础 
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发 展 了 序列 二 次 规划 方法 (SQP 方法 ) 鉴于 方程 组 fi 2 量 的 求解 数值 不 稳定 , 故 
考虑 将 它 转 化 为 一 个 严格 凸 二 次 规划 问题 . 转化 的 条 件 是 ff2 下 的 解 点 z* 处 最 
优 性 二 阶 充 分 条 件 成 立 , 即 对 满足 4(z*)rd = 0 的 任 一 向 量 4 天 0, 成 立 


二 

这 时 , 由 引 理 |16| 知 , 当 r > 0 充分 小 时 , 有 
Jor 四 二 二 4(oJr4(o] 

正定 . 考虑 中 的 环 (zk wz) 用 一 个 正定 矩阵 来 代替 , 记 

BUze Ab) = 全 (Ce Ab) 十 二 4(onr4(zn， 


则 当 (zw pa) -> (zepe) 时 , 矩阵 B(zo ie) 正定 . 注意 到 (2 全 的 第 一 个 展开 式 
为 

















到 (zep) 因 一 4 人 (zi 克 = 一 VH(zp) 十 4(zp) Nt 
将 上 式 变形 为 
| 杰 Ges 属 款 二 4(zaz74(oa 三 4(zaoz| 风 划 城 认 二 4(oDd 三 三 局 所 人 
人 | 
人: 一/ 信 十 共 十 元 4(Zbdh， 
即 得 
B(zp Hp 人 一 4(z 硕 = 一 Vj(zb) 
因此 ( 等 价 于 
B(zwpij) -4(zejz 四 Vj(en 
4(zhj 0 及 忆 (ZA 
进一步 , 可 以 把 方程 转化 为 严格 凸 二 次 规划 . 我 们 有 下 面 的 定理 : 
定理 59 设 下 (zhu,/ 愉 ) 是 见 X 见 正定 矩阵 ，4(zk) 是 mm X 见 行 满 秩 天 阵 . 则 
dx 满足 的 充 要 条 件 是 K 是 下 列 严格 凸 二 次 规划 
而 二 二 全 证 Bo 人 


st， 有 (ZN 十 4(zkjd=0 


(12.9) 




















(12.10) 


的 全 局 极 小 点 . 
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证 设 居 是 的 全 局 极 小 点 , 注意 到 4(zh) 行 满 秩 , 故 由 KT 条 件 , 存 
在 乘 子 向 量 砍 , 使 得 


VCzZp) 朱 已 (Zk， HR)G 瓜 4(zk 并 大 一 0. 


再 由 的 约束 条 件 知 , (du, 艳 ) 是 方程 组 的 解 

反之 , 设 (di, 砍 ) 是 方程 组 的 解 ， 由 于 B(zh,) 正定 ,4(zh) 行 满 秩 ， 
故 方程 组 的 系数 矩阵 是 非 奇 异 的 , 从 而 这 个 解 是 唯一 的 .由 定理 [6| 知 ， 
(dh; 不) 是 的 KT 对 , 从 而 居 是 的 全 局 极 小 点 . 



































Po 有 =|YZJE=TYAe 一 4 二 IE (12.11) 

















不 难 








证 明 , 由 确定 的 zx 满足 (参见 文献 [|) 





< 二 








VP(za ui 一 一 2P(zh An <0. (12.12) 





我 们 有 下 面 的 算法 : 


算法 33 ( 纯 等 式 约 束 优化 问题 的 SQP 方法 ) 

步 0 选取 zoE 了 "HERpYye(0D,0<s< 妇 1. 令 :=0. 
步 1 计算 P(zh pz) 的 值 . 若 P(zh AU) < E, 停 算 . 否则 , 转 步 2. 
步 2 求解 二 次 规划 子 问题 得 r 和 胸 ， 并 置 

















工 


知 


起 
Co 


PR 十 Ge 十 PS (一 7)PUCe NA (12.13) 


则 置 ax := 1, 转 步 5; 否则 , 转 步 4. 
步 4 令 7mk 是 使 下 面 的 不 等 式 成 立 的 最 小 非 负 整数 mm : 


已 CR 十 di 大 十 pm 区 ( 一 Y0m)PUCe AR 412.14) 


置 ok 一 OA 
步 5 令 ZKH1l 一 2 十 QQ ，HUETL 王 /十 QKD. 置 大 :一 天 十 1 转 步 1 
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不 难 发 现 , 在 上 面 的 算法 中 , 知 ak < 1, 则 必 有 














人 (12.15) 








下 面 给 出 算法 B3] 的 全 局 收敛 性 定理 . 


定理 60 对 于 等 式 约束 问题 (12. 趾 , 若 SQP 算法 3 生成 的 选 代 序 列 
{(zbnh)} 使 得 KT 短 阵 的 逆 和 矩阵 NUzb An)j-l 一 致 有 界 ， 则 {(zhpn} 的 任 
何 聚 点 (ZHU*) 都 满足 P(z*,1 = 0. 特别 地 ,{zk} 的 任 一 聚 点 都 是 问题 
的 下 工 点 . 








证 用 反 证 法 . 不 失 一 般 性 , 假定 {(zp pt 一 (z 0 若 P(z Ap > 0. 由 
步 3 和 步 4 可 知 


PZHSE 一 ?ap)PUzp HE) < 己 (Ch NE 
由 上 式 及 P(zk kr) 一 P(z* As) > 0 可 推 得 
lim ox 一 0. 
克 一 oo 


另外 , 由 (2 可 得 


一 一 N(zp Ab) 一 VE(ze Ap)， 





注意 到 和 矩阵 INV(zR AR) 的 一 致 有 界 性 ， 08 一 (QR; z) 也 是 一 致 有 界 的 ， 且 DK 一 
矿 一 (di)) 其 中 天 满足 牛顿 方程 Wo) = 一 VZC AN)， 由 于 = 
ak/p = pmz 一 0. 故 由 有 


P(CZK 十 QQ JE 十 Qt) 一己 (ZR) HA) 
Q 











> 一 7P(Uze HA) 


对 上 式 两 边 取 极 限 得 


G@ -Per <0 
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注意 到 0 < 7 < 1 故 得 P(z*,) < 0, 这 与 假设 P(z*, 凡 ) > 0 矛盾 . 因此 必 有 
P(Z 1 = 0. 

现在 来 证 明定 理 的 第 二 部 分 . 设 六 是 序列 {zk} 的 任 一 聚 点 , 不 失 一 般 性 , 假 
设 {zk} 一 玉 . 注意 到 序列 {P(ze, zx)} 是 单调 不 增 的 且 和 矩阵 序列 {N(ze Ap) } 
是 一 致 有 界 的 , 由 此 可 推 得 u 一 0( 一 co 且 {o= (dos 有 凡 )} 是 有 界 的 ， 故 
{dak} 和 {zx} 都 是 有 界 的 . 又 由 步 2, 严格 凸 二 次 规划 子 问题 的 解 {(dux, 大)} 也 是 
有 界 的 , 故 { 肋 } 是 有 界 的 , 即 { 克 = 人 大 十 砍 } 是 有 界 的 . 特别 地 , 对 于 充分 大 的 
ji {UH := 人 十 ak 是 有 界 的 , 于 是 存在 收敛 的 子 序 列 . 假设 必 是 {uksl 的 
某 个 款 点 , 则 (z”， 2) 是 迭代 序列 {(zh Ap)} 的 一 个 聚 点 . 由 第 一 部 分 的 证 明 可 知 
P(z2) = 0 因此 , z* 是 问题 的 KT 点 . 

关于 算法 3 的 收敛 速度 , 我 们 有 下 面 的 定理 , 其 证 明 过 程 可 参见 文献 四 , 效 
略 去 不 证 . 

定理 61 设 算法 |83| 产生 的 选 代 序 列 {Zk} 收 人 到 一 个 局 部 极 小 点 Z*. 若 函 
数 六 刀 = (Pi ; 记 并 在 入 附 近 三 阶 连续 可 微 , Jacobi 天 阵 4(z9 = VPR(Z) 
行 满 秩 , 且 二 阶 最 优 性 充分 条 件 成 立 , 则 有 

(1) 必 有 fukj} 一 其 中 必 是 等 式 约束 优化 问题 的 拉 格 朗 日 乘 子 ， 
且 整 个 选 代 序 列 {(zh pb)} 是 二 阶 收 你 的 ， 即 













































































上 (ce 一 人 一 大 让 = 一 冤 ,大 一 户 )I) 


(2) 序列 {zh} 超 线 性 收 黎 到 z*， 且 
二 


las 一 ol=o(le 一 [lee 一 几 ， 


2 一 工 
其 中 苇 是 任意 给 定 的 正 整 数 ， 
例 37 编制 Matlab 程序 , 用 算法 B3 计算 下 列 最 优化 问题 的 极 小 点 
1 
min (zz) 一 erl72737475 一 (Zi 十 23 十 了 2， 


st 2 十 Z2 十 Z3 十 Z4 十 23 一 10 一 0， 
履 2Y3 一 57Z425 一 0U， 


ZL 十 23 十 =0. 
该 问题 有 最 优 解 六 = (一 1.71,1.59,1.82, -0.763, -0.763)7, 最 优 值 Flz*)] = 0.0539. 


.220 ， 


二 章 ”序列 二 次 规划 法 回 目录 812.2 SQP 方法 的 算法 模型 








解 编制 Matlab 程序 如 下 


function [Xx,mu,val,k]=Jagsdqdp(x0 ,muoO) 

% 功 能 : 用 基于 拉 格 朗 日 函数 Hesse 阵 的 SQP 方 法 求解 约束 优化 问题 : 
办 min f(x) s. 七 .h_i(x)=0，i=1,...，1. 

% 输 入 : x0 是 初始 点 ，mu0 是 乘 子 向 量 的 初始 值 

% 输 出 : x，mu 分 别 是 近似 最 优点 及 相应 的 乘 子 ， 

% val 是 最 优 值 ，mh 是 约束 函数 的 模 ，k 是 迭代 次 数 . 

maxk=50;  % 最 大 迭代 次 数 

D=JLength(x0) ; JI=length(mu0) ; 











rho=0.5; gamma=0.2; 

X=X0O; mu=mu0; 七 au=0.1; 

k=0;  ， epsilon=1e-8; 

While(k<maxK) 
P1=P(x,mu) % 计 算 罚 函数 的 值 
if(P1<epsilon) ，break; end YY 检验 终止 准则 
H=B(x,mu,tau) ; % 计算 KT 和 矩阵 
c=dfl(x); 4 计算 目标 函数 梯度 
be=-h1(x); % 计 算 约束 冰 数 
Ae=dqh1l(x) ; % 计 算 约 束 函 数 的 Jacobi 和 矩阵 
[qdx ,1am]j=qsubp(H,c,Ae,be) ; 
du=1am-mu-1.0/(2#ktau)#kdh1(Xx)#kdx; 
m=O; mk=O0 ; 
while(m<20)  % Armijo 搜 索 


iE(P(X+Tho”>mkdXx ,mu+rho”mkdu)<=(1-gamma#krho>m)#kP1) 
































ImKX=zm;i break; 
end 
Im=m+1T ; 
end 
X=X+LTho ”~mk#kdXx;i mu=mu+rho>~mkkdu ; 
K=K+1T ; 
end 
Val=f1(x) ; 
XXX%%X%% 求解 子 问题 和 3 区 区 基 和 区 区区 
function [x,mul]=qsubp(H,c,Ae,be) 
ginvH=pinv(H) ; 
[m,Dn]=size(Ae) ; 
if(m>0O) 
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Tb=Ae*kginvH*xc + be ; 
mul=pinV(Ae*+kginvHkAe?)#Trb; 
X=ginVvHk(Ae *mul1-c) ; 
else 
X=-gInVH#c ; 
mu1=Zzeros (my,1) ; 
end 
XXX%XXXX% 拉 格 庆 日 函数 工 (xmua) 03223% 攻 2 攻 区 2 区 
function 1=1a(x,mu) 
f=fl(x); 调用 目标 函数 文件 
h=h1(x); % 调 用 约束 函数 文件 
1=f-mu?xh; % 计算 乘 子 函数 
%2%XXXYXX%% 拉 格 庆 日 函数 的 梯度 3 
function dql=dqla(x,mu) 
df=df1l(x); % 调 用 目标 函数 梯度 文件 
h=h1(x); % 调 用 约束 函数 文件 
qh=dqh1(x); Y% 调 用 约束 函数 Jacobi 和 矩阵 文件 
dl=[df-dh?*mu; -h]; % 计 算 乘 子 函 数 梯度 文件 
XXX%XXXXX 罚 函 数 PCXma) XXXXX XXX 
function S=P(x,mu) 
dl=dqla(Cx,mu) ; 
S=Dorm(dq1) ”2; 
2X%XYXXX%% 拉 格 朗 日 函数 的 Hesse 阵 XXXXXXX 
function dq21=d21a(x,mu) 
d2f=q2f1(x);  % 调 用 目标 函数 Hesse 阵 文件 
[da2h1 ,qd2h2,d2h3]=d2h(x) ; % 调 用 约束 函数 二 阶 导数 文件 
d21=dq2f-mu(1)*kd2h1-mu(2)*kd2h2-mu(3)#d2h3; 
XXXX%%X% KKT 和 矩阵 了 (和 ma) 从 % 共 2% 区 2 区区 
function H=B(x,mu,tau) % 计 算 KT 托 阵 
d21=d21a(x,mu);  VY 计 算 Hesse 阵 
dh=dhl1(x); % 约 束 函 数 的 Jacobi 和 矩阵 
H=dq21+1.0/(2*#tau)*kdh>?*dh ; 
%XXX%XX%XX% 目标 函数 工 ( 式 ) XXZX XXX 
function f=f1(Xy) 
S=X(1)#kXx(2)#kx(3)#*X(4)*kX(5) ; 
f=exp(s)-0.5#k(x(1) ”~3+X(C2) >“3+1) 2; 
0 约束 函数 (GX) 00332222 
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function h=h1(Xy) 
h=[x(1)>2+X(2)”2+X(3)>2+X(4) ”2+X(5) 2-10; ..， 
X(2)*Xx(3)-5*kX(4)*X(5);X(1)>3+X(2)>3+1] ; 

%XXX%XX%X% 目标 函数 f(x) 的 梯度 XXXXXXXXXXXY% 

function qdqf=df1(x) 

S=X(T)#X(2)#X(3)X(4)#X(5) ; 

daf(1)=s/(X(C1))#exp(S)-3#k(X(C1) “3+X(2) “3+1)#X(1) 2; 

df (2)=S/(x(2) )#*eXxp(S)-3#k(X(C1) ~3+X(2) >“3+1)#X(C2) 2; 

df(3)=s/(x(3))*kexp(s) ; 

df (4)=S/(X(4))#kexp(s) ; 

df (5)=sS/(X(5))#kexp(s) ; 

df=dqf(:); 

XXXXXX%XX 约束 函数 h(x) 的 Jacobi 和 矩阵 人 (xD)XXXXXXXXXXX2 2 

function qh=dh1(x) 

dh=[2#xx(1) ,2*X(2) ,2*xkX(3) ,2*X(4) ,2*xkX(5) ;0,X(3) ,X(2) ,-5*kX(5) ,-5kXx(4); ... 
3*kX(1) ”2,3xkxX(2) 2,0,0,0] ; 

2X%XYX%XX%% 目标 函数 f(x) 的 Hesse 阵 MY 区 

function qdq2f=dq2f1(x) 

S=X(T)#X(2)#X(3)#X(4)#X(5) ; 

d2f=[(s/(CX(C1) )) >“2*xkexp(S)-6#xX(1)#(XC1) “3+X(2)~3+1)-9*xx(1) 4，... 
(1+S)#X(3)#X(4)*Xx(5)#kexp(S)-9*xXx(1) “2*X(2) “2，... 
(1+S)#X(2)#X(4)#Xx(5)*kexp(S)，... 
(1+S)#*X(2)#X(3)*X(5)#kexp(S) (1+S)*X(2)#X(3)*kX(4)kexp(S); ... 
(1+S)*kXx(3)#X(4)#kx(5)#kexp(S)-9*kx(1) ~“2*xXx(2) >“2， 
(S/(x(2) )) ”2*xexp(s)-6#xX(2)#(x(1) ”3+Xx(2) “3+1)-9*kx(2)”4，... 
(1+S)#*kX(1)#X(4)*kx(5)#kexp(S)，(1+S)*kXx(1)#kX(3)*kx(5)kexp(S) ，... 
(1+S)#*X(1)*X(3)#X(C4)kexp(S); ..， 
(1+S)#*kX(2)#X(4)*kx(5)#kexp(S)，(1+S)*X(1)#X(4)*kx(5)kexp(S)，... 
s ”2/(x(3) )*kexp(s),(1+s)#x(1)#*X(2)*Xx(5)kexp(sS)，... 
(1+S)#*X(1)*X(2)#X(C4)kexp(S); ..， 
(1+S)#*X(2)#X(3)*kx(5)#kexp(S)， (1+S)*kX(1)#kX(3)*kx(5)kexp(S)，... 
(1+S)#Xx(1)*Xx(2)#*X(5)#kexp(S) ,s”2/(x(4))*exp(s)，... 
(1+S)#kx(1)*x(2)*X(3)*kexp(S);... 
(1+S)#Xx(2)*X(3)#X(4)#kexp(S) ,(1+S)#Xx(1)*X(3)+Xx(4)kexp(S) ，... 
(1+S)#kX(1)*X(2)#X(4)#kexp(S) ,(1+S)*X(1)*X(2)#kXx(3)kexp(S)，... 
S”2/(x(5))*kexp(s)]  ; 

XXXXXXXXXXX%XYXX 约束 函数 hx) 的 Hesse 阵 兴 %2X 芝 区 区 各 蕉 区 区 蕉 区 各 和 区 各 2 人 
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function [dq2hl ,qdq2h2,q2h3] =dq2h(x) 
d2hl=[20000;02000;00200;00020;00002]，; 
d2h2=[00000;00100;01000;0000-5;000-50])?; 
d2h3=[6*x(1) 0 0 0 0;0 6kx(2) 0 0 00 0 0 0 010 0 0 0 0;0 0 0 0 0] ; 
的 的 的 的 的 的 的 认 的 的 的 的 的 的 扩 的 办 鸭 办 的 的 扩 的 扩 的 办 多 的 扩 的 的 的 扩 的 办 扩 的 扩 的 办 的 办 的 的 扩 的 扩 的 扩 的 从 扩 为 扩 失 加 扩 








利用 上 面 的 程序 , 取 乘 子 向 量 的 初 值 为 Wo = (0,0,0), 终止 准则 值 取 为 
P(zi pe) < 10-2, 对 于 不 同 的 初始 点 得 到 计算 结果 如 下 表 所 示 . 












































初始 点 (zo) 和 欠 代 次 数 ( 丰 | jzk) 的 值 | P(za,Az) 的 值 
(一 1.71.51.8 一 0.6 一 0.6)7 11 0.0539 4.798le-013 
(一 1.7,1.6,1.8, 一 0.7, 一 0.7)7 11 0.0539 8.6424e-014 
(一 1.8,1.7,1.9, 一 0.8, 一 0.8)7 9 0.0539 4.4646e-013 
(一 2,1.5,2, 一 1 一 1)7 14 0.0539 2.1538e-013 
(一 3,2,3, 一 2, 一 2)7 16 0.0539 5.3309e-013 




















12.2.2 ”基于 修正 Hesse 阵 的 SQP 方法 


首先 , 考虑 将 上 一 节 中 关于 构造 二 次 规划 子 问 题 求 解 等 式 约 束 优化 问题 的 思 
想 推 广 到 一 般 形 式 的 约束 优化 问题 人 2. 直 在 给 定点 (zk HU; Xx) 之 后 , 将 约束 函 
数 线性 化 , 并 且 对 拉 格 朗 日 函数 进行 二 次 多 项 式 近 似 , 得 到 下 列 形式 的 二 次 规划 
子 问题 : 








min Tid 十 VF(zp)Td 
st ji(zi)+Vh(zhrd=0,ie 万 ， (12.16) 
gi(Zz 岂 二 TVoi(zhTd >0TET， 
其 中 瑟 = 人 人工 = 和 0 于 = 丽 ( 人 (ze =V2 EUzp Ap) 而 
拉 格 衣 日 函数 为 
Z(z 甩 为 =jz) 一 >》 Hipai(z) 一 >》 Xigi(z) 
1E 古 ZE 了 


于 是 , 选 代 点 zx 的 校正 步 四 以 及 新 的 拉 格 朗 日 乘 子 估计 量 ni kii 可 以 分 别 
定义 为 问题 的 最 优 解 和 相应 的 拉 格 朗 日 乘 子 j，》* 
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上 述 的 二 次 规划 子 问题 可 能 不 存在 可 行 点 , 为 了 克服 这 一 困难 , 
Powell 引进 了 一 个 辅助 变量 6, 然后 求解 下 面 的 线性 规划 


min 一 & 
St， 一 cjpi(zi 十 Vhi(zhd 一 0iE 万， 
= 二 六 负 交 可 区 由 二 ED (12.17) 
gz TVogi(zpd >0aieE 有， 


其 中 不 = 人 fg(z 由 <oie 丰 了 态 ={ 人 gifz>0ie 丰 .显然 <=0,d=0 上 
述 线性 规划 的 一 个 可 行 点 , 并 且 该 线性 规划 的 极 小 点 5 = -1 当 且 仅 当 二 次 规划 
子 问 题 是 相 容 的 , 即 子 问题 的 可 行 域 非 空 . 

当 上 = -1 时 , 可 以 用 线性 规划 问题 的 最 优 解 d 作为 初始 点 , 求 出 二 次 规划 
子 问题 的 最 优 解 改 . 而 当 《 上 = 0 或 接近 于 0 时 , 二 次 规划 子 问题 无 可 行 点 , 此 时 
需要 重新 选择 友 代 初始 点 zk, 然后 启动 SQP 算法 . 当 Ez# -1 但 比较 接近 -1 时 ， 
可 以 用 对 应 的 约束 条 件 代替 原来 的 约束 条 件 , 再 求解 修正 后 的 二 次 规划 子 问 
题 . 

不 失 一 般 性 , 以 后 为 了 讨论 的 方便 , 我 们 假设 二 次 规划 子 问题 是 相 容 的 . 下 
面 的 定理 描述 了 迭代 点 对 应 的 有 效 约束 指 标 集 与 最 优 有 效 约 束 指标 集 之 间 的 关 
系 ， 其 证 明 可 参见 文献 加]. 












































定理 62 给 定 约束 优化 问题 的 一 个 KT 点 z* 和 相应 的 拉 格 朗 日 冬 
子 向 量 1 X > 0. 假定 在 * 处 ,下 面 的 条 件 成 立 : 

(1) 有 效 约束 的 Jacobi 短 阵 .Jste-) 行 满 秩 , 此 处 S(o) = 已 UT(z)， 

(2) 严格 互补 松子 条 件 成 立 , 即 gi( 太 ) 0， 和 二 0，Xgi(2) = 0， 和 十 
0i(2*) > 0. 

(3) 三 阶 最 优 性 充分 条 件 成 立 , 即 对 任意 满足 4(z*jd = 0 的 向 量 qd 和 0, 成 


有 友 (z 0)d > 0. 


那么 , 若 (zh Ah, AR) 充分 靠近 (z*, pr X9)， 则 二 次 规划 子 问 题 存在 一 个 
局 部 极 小 点 必 , 使 得 其 对 应 的 有 效 约束 指标 集 S(d*) 与 原 问题 在 zx* 处 的 有 效 约 
束 指标 集 S(z*) 是 相同 的 . 
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注意 到 在 构造 二 次 规划 子 问 题 时 ,需要 计算 拉 格 朗 日 函数 在 迭代 
点 zk 处 的 Hesse 阵 T 玩 = 三 人 (zt Xp) 其 计算 量 是 巨大 的 . 为 了 克服 这 一 缺 
陷 , 1976 年 华裔 数学 家 韩 世 平 (S.P. Han) 基于 牛顿 - 拉 格 朗 日 方法 提出 了 一 种 
利用 对 称 正定 矩阵 肪 替代 拉 格 朗 日 矩阵 5 的 序列 二 次 规划 法 ， 另外 由 于 
R.B. Wilson 在 1963 年 较 早 地 考虑 了 和 牛顿- 拉 格 朗 日 方法 , 加 之 M.J.D. Powell 于 
1977 年 修正 了 Han 的 方法 , 所 以 人 们 也 将 这 种 序列 二 次 规划 法 称 之 为 WHP 方 
法 (Wilson-Han-Powell 方法 ). 

对 于 一 般 约 束 的 优化 问题 下 2. 耻 , 在 和 欠 代 点 (zh nt, Ak) 处 , WHP 方法 需要 
构造 一 个 下 列 形 式 的 二 次 规划 子 问 题 : 









































Brd 和 
st ji(zi 十 Vjuzhrd 一 0 ie 万 ， (2.18) 
gi(Zz 岂 二 TVoi(zhrd >0TE， 
并 且 用 该 二 次 规划 子 问 题 的 解 凡 作为 原 问题 的 变量 z 在 第 8 次 和 迭 代 过 程 中 的 搜 


索 方向 . 顺便 提 一 下 , 这 个 搜索 方向 必 具有 一 个 比较 好 的 性 质 : 即 它 是 许多 罚 函 
数 (价值 函数 ) 的 下 降 方向 , 比如 握 罚 函 数 (价值 函数 ) 


PR 四 =j 罗 + 直 开 总 OIL 2a9 


1E 已 ZE 














其 中 罚 参 数 c > 0, [goi(z -= maxf0, 一 0i(z)} 
现在 我 们 写 出 WHP 方法 的 算法 步骤 如 下 . 











算法 34 (WHP 方法 ) 

步 0 给 定 初始 点 Z0 E 陈 "， 初始 对 称 和 珑 阵 Bu E 了 "xm， 容许 误差 限 0< = 护 1 
和 满足 人 风 < +oo 的 非 负数 列 {k}， 取 参数 m > 0 和 5>0. 置 大 :0 

步 ] 求解 子 问题 (i2 避 ,得 最 优 解 由 

步 2 若 |du| < es, 停 算 ,输出 zx 作为 近似 极 小 点 . 

步 3 利用 C 罚 函 数 P(Z)， 按照 某 种 线 搜 索 规则 确定 步 长 ak E (0, 5], 使 得 


























已 (2 十 Qkdk) 苹 已:( 大 十 Qdk) 十 7 
Et 


步 4 置 VK+L :一 2 十 QKQK， 更 新 万 1 为 局 NT1. 
步 5 令 大 :一 大 十 1 转 步 工 
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在 一 定 的 条 件 下 , 可 以 证 明 算 法 B 引 的 全 局 收敛 性 . 下 面 , 我 们 不 加 证 明 地 给 
出 算法 B 引 的 全 局 收敛 性 定理 , 其 证 明 过 程 可 参见 文献 四. 


定理 63 对 于 约束 优化 问题 人 L2. 耻 , 假设 户 廊 (人 E 媚 和 gilie 站 都 是 连 
续 可 微 的 ， 且 存 在 常数 0 < m < M, 使 得 算法 B4 中 的 对 称 正 定 矩 阵 及 满足 









































malldl2< ozBid< MelP， (ee 了 Rn 天 二 12….)， 





若 罚 参数 o > 0 和 二 次 规划 子 问 题 12.18) 的 拉 格 朗 日 乘 子 向 量 Wiil， Aki1 过 0 
满足 
IImax{|Aks+Hille,jpksalle 1 (YE 三 十 2， 小 


则 算法 8 引 生 成 的 序列 {zk} 的 任何 聚 点 都 是 问题 的 KT 点 。 


12.3 SQP 方法 的 相关 问题 


12.3.1 ”二 次 规划 子 问 题 的 Hesse 阵 
下 面 以 纯 等 式 的 约束 优化 问题 为 例 , 说 明 如 何 选择 二 次 规划 子 问 题 的 Hesse 
阵 , 其 中 二 次 规划 子 问题 为 


1 
Iain 二 CT d 十 VF(zp)zd 
2 (12.20) 


st ji(zi 十 VAi(zhad 一 01 = 人 1 


1. 基于 拟 牛 顿 校正 公式 的 选择 方法 
由 于 拟 牛 顿 法 是 处 理 无 约束 优化 问题 的 有 效 算法 , 故 可 利用 拟 牛 顿 法 的 基本 
原理 , 对 拉 格 朗 日 函数 CUzy 几 ) 的 Hesse 阵 V2 Ptzu 内 ) 的 近似 矩阵 及 进行 修 


正 , 念 














5 一 ZL 一 0 人 贩 三 VoDZETD HUI) 一 VzD(ZR NETI1). (12.21) 
BFGS 校正 公式 要 求 向 量 se 和 了 傣 满足 曲率 条 件 , 即 sz > 0, 但 由 人 2.21 确 


定 的 向 量 sx, 大 可 能 不 满足 这 一 条 件 . 为 此 , 有 必要 对 同 量 炙 进行 修正 . 下 面 的 
修正 策略 是 由 Powell 于 1978 年 给 出 的 : 令 



































3 一 0 十 (1 二 D)Bksh， (12.22) 
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其 中 参数 久 定义 为 


|， 与 S7 1 之 0.2s7 Bksh， 


若 s7W < 0.257 .Bksk. 
5 BBS 一 580 





于 是 , 矩阵 好 的 约束 BFGS 校正 公式 为 


忆 kKsks7L 需 友 
Bi = 奈 一 一 地 





(12.24) 


注意 到 参数 久 的 定义 由 2.2 引 , 不 难 验证 : 当 0 = 1 时 ， 





57 未 三 57 从 之 0.257 已 Rs > 0， 
而 当 钛 夭 1 时 ， 
57 2 一 所 5s7 十 (1 一 所 )s7 BBS 一 0.257 忆 Ks 汉 册 ， 


因此 , 约束 BFGS 校正 公式 可 以 保持 正定 ; 
2. 基于 增 广 拉 格 朗 日 函数 的 选择 方法 
下 面 考 虑 增 广 拉 格 朗 日 函数 


加 








Pio= Je) 一 AT 元 直人， (12.25) 


其 中 罚 参数 o > 0 hz) = (和 (oja(z))7， 在 KT 点 (zx) 处 , 根据 
jz*) = 0, 可 知 增 广 拉 格 朗 日 函数 的 Hesse 阵 为 





工 
V2 Da4(2 1 一 V2 DUO 十 了 4(c) 4(z)， (12.26) 


对 于 纯 等 式 约束 的 优化 问题 , 若 约 束 函 数 在 习 处 的 Jacobi 矩阵 4(z*) 行 满 
秩 , 并 且 二 阶 最 优 性 二 阶 充 分 性 条 件 成 立 , 则 存在 某 个 效 值 5 > 0, 使 得 
Yao E (0,5,V2Za4(zhb nba) 是 正定 的 ， 于 是 二 次 规划 子 问 题 中 的 TV 可 取 
为 V2 74(zh io), 或 者 取 对 V2 La4(zhi pa) 进行 拟 牛 顿 近 似 的 校正 矩阵 瑟 :. 
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12.3.2 ”价值 轴 数 与 搜索 方向 的 下 降 性 

为 了 保证 序列 二 次 规划 法 (SQP 方法 ) 的 全 局 收敛 性 , 通常 借助 于 某 价 值 函 
数 来 确定 搜索 步 长 . 例如 , 目标 函数 、 罚 函数 以 及 增 广 拉 格 朗 日 函数 等 都 可 以 作 
为 价值 函数 , 用 来 衡量 一 维 搜索 的 好 坏 . 下 面 介 绍 两 类 著名 的 价值 函数 . 

1. 2 价值 函数 

首先 , 以 纯 等 式 约束 的 优化 问题 为 例 , 考虑 下 列 A 价值 函数 






































和) = Fa) 十 =aol， (12.27) 
其 中 o > 0 为 罚 参 数 . 


命题 2 设 尿 和 Mk+l 分 别 是 子 问题 的 最 优 解 和 拉 格 朗 日 科 子 ， 则 
g 沿 方向 录 的 方向 导数 满足 


而 (Zi 0 人) < 一 故 Hp 和 一 (一 esalle)ll(zal (12.28) 
证 由 泰勒 公式 可 得 
Joe+adi = Jan +Vjtobrd +5azd8V21(eode 
六 (ZK 十 adk) 一 Pzp) 十 a4(zp)dk 十 22 3)d 
一 (1 一 oa)jn(zp) 十 5a2d8V2j(0n)dh 
其 中 
叹 V2jp)az 一 [deV27a(e)as deV2ja(0e)das  ，V27(0e)as] 


故 对 比较 小 的 a > 0, 有 





页 (全 十 ad 一 内 (Zp) Sa(VAzt 不 一 oz 十 o28 人 | 


其 中 0 > 0 是 某 个 常数 . 同 理 可 证 

















的 (7 十 adp) 一 的 (7 之 a(VAFz 四 一 az 一 o228a 
根据 多 元 函数 方向 导数 的 定义 , 可 得 
g(Z1 aidp) 王 VFzp7 da 一 oz. (12.29) 
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由 KT 条 件 , 有 





Vj(zh)+Tkd 一 4(zh uti=0， 
于 是 有 





VJ(zb de = 一 和 ET 人 十 砍 4(zb kt 
一 0 Ted 万 (ZR) 工 RAT. 


注意 到 由 Schwartz 不 等 式 , 有 





一 PCZE) Ne SR(zpllsllwssalls < esallslla(zol 


至 此 , 命题 的 结论 已 得 到 证 明 . 
根据 命题 四 可 知 , 若 矩 阵 TF7 正定 , 且 取 罚 参数 




















之 |puxsail。 二 0， 


其 中 5 > 0, 则 可 保证 尿 是 办 (z,c) 在 相应 点 zx 处 的 下 降 方向 . 此 外 , 在 构造 二 
次 规划 子 问题 时 , 如 果 用 对 称 正定 矩阵 Bx 蔡 代 fi, 那么 相应 的 最 优 解 
dk 也 可 以 是 价值 函数 内 

对 于 一 般 的 约束 优化 问题 可 以 考虑 相应 的 二 次 规划 子 问题 fi2.1 引 ， 
并 且 将 定义 的 罚 卫 数 作为 价值 冰 鉴 


户 (z) = om +lo(e-] 


和 汪 川上 |o(z) 可 


2E 互 ZET 














其 中 必 2) 一 (aa(O 和 (2)) 2) = ( 罗 (2 9 人) 9()- 一 maxf0, 一 于 (2)， 


命题 3 设 囚 和 Hi Xil>0 分 别 是 子 问题 人 12.18 的 最 优 解 和 拉 格 有 
日 乘 子 , 则 已 沿 雄 的 方向 导数 满足 


忆 (z5t) < 一 大 Br 加 一 (一 下)llm(zal: 
-(o 一 人 ssalle)llo(zo)-l (12.30) 


证 注意 到 1- 范 数 | | 是 凸 函 数 以 及 函数 (.)- 具有 下 列 性 质 








VY 石 之 刀 有 ()- 芭 (to)-. 
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利用 与 命题 四 类 似 的 方法 可 得 
Pi(zzd)=Vf(zt 加 一 [zali+llg(zo)-l]. (12.31) 
再 利用 二 次 规划 子 问 题 的 KT 条 件 , 有 
VJzp + Be 一 VhZhJ HUEH 十 Vg(ZR) AH 
和 X10，g(z 由 十 Volzh7adx > 0， (12.32) 
Xi[o(zp) 二 Vol(zp7zadn] = 0 


又 因 必 满足 可 行 性 条 件 : (zk) 十 Vp(znzrdkx = 0, 由 此 及 的 第 一 、 三 两 
式 可 得 
VF(zp7dh 一 一 民 Bkdk 一 邦 (ZJ = 9(ZR)7 AR 1. (12.33) 


由 Schwartz 不 等 式 可 知 


一 PE) AUREL 三 |P(zpAesilw < assalelzzall， 
(12.34) 


一 9g(Zb) AH S AHi[g(zb]- 夺 ||Ae+illcollg(zo)l 

















最 后 , 由 (2.3 赴 ， 和 即 得 命题 的 结论 . 
2. Fletcher 价值 函数 
Fletcher 价值 函数 也 叫做 增 广 拉 格 朗 日 价值 函数 . SQP 方法 问世 后 , 除了 使 
用 4 价值 函数 以 得 到 算法 的 全 局 收敛 性 外 , 优化 工作 者 还 引进 过 其 他 的 价值 函 
数 . 例如 , Fletcher 曾经 针对 纯 等 式 约 束 优化 问题 引入 了 下 列 增 广 拉 格 朗 日 价值 
函数 : 

















gr(2;0) = jz) 一 AZ) NzZ) 十 元 ato)l (12.35) 


其 中 AM(z) 是 乘 子 向 量 , c > 0 是 如 参数 . 若 国 数 (z) 的 Jacobi 窍 阵 4(z) = 
VA(z): 是 行 满 秩 的 , 则 乘 子 向 量 可 取 为 











pz) = MO4(OT-4(VYA， (12.30) 
即 w(z) 是 下 面 的 最 小 二 乘 问 题 的 解 : 


min|VAz) -4(2) 则 | 


HE 了 R! 
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另 一 方面 , Fletcher 函数 在 zx 处 的 梯度 为 
Vorlzio)=VFzi 一 47u(zi 一 VHU(znpzi 二 orl47P(zn， (12.37) 


其 中 4 一 4(Zp) 是 尺 (Z) 在 尼 肛 处 的 Jacopi 矩阵 ， 且 4 行 满 秩 . 假设 ( 是 子 问 


2 (12.38) 
的 最 优 解 , 并 记 
大 一 .47 十 Za2 
其 中 骏 的 列 同 量 是 零 空 间 NM(4)) 的 一 组 基 . 根据 子 问题 的 可 行 性 条 件 ， 
我 们 有 








碟 = 一 (4848)-R(z 
然后 , 利用 最 小 二 乘 乘 子 kz) 的 定义 可 得 
VF(zaz 4 区 = -azhrhtz 
故 有 
VoOr(zh ai =YFz 2 一 PzpTVHUz Gd 一 PP(zt 上 2 (12.39) 


另 由 KT 条 件 有 
人 aq 十 VJzZp) 4 三 0， 


其 中 Au 是 拉 格 关 日 乘 子 . 那么 , 我 们 有 





有 TH = 有 于 和 十 天 4 必 
2 [4kpz 一 VAF(zn]] 


和 一 ZU V zh) 
于 是 , 有 
一 hz VH(zp7 de 一 oa 开关 (za)l2. (12.40) 
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因此 , 当 简 约 Hesse 阵 有 T 和 5 么 正定 时 , 若 取 如 参数 满足 








一 ( 力 42d 一 PCZE)TVA(CZRTC 二 
IC | 


其 中 6 > 0, 则 作 是 Fletcher 价值 函数 的 下 降 方向 . 
下 面 我 们 给 出 一 般 形 式 约 束 优 化 问题 的 SQP 方法 的 算法 步骤 . 














算法 35 (一 般 约 束 优化 问题 的 SQP 方法 ) 
步 0 给 定 初始 点 (Zo, HU0, Xo) E 月” x 取 ! x 了 月 普 ,对称 正 定 和 天 阵 Bu E 陈 "x"， 计 






































4 己 
47 二 VAP(zo)” 40 本 V9g(zo) 7， 40 = 三 | | ， 
40 


选择 参数 me (0,1/2), pe (0,1), 容许 误差 0< stsz < 贸 1. 令 有 :=0. 
步 1 求解 子 问题 
1 
st， jzi) 十 42d = 0， (12.42) 


g(zpb) 十 44d > 0， 


步 2 若 |dl: < si 且 |mxl: 上 (gw -ll < es 停 算 ,得 到 原 问题 的 的 一 个 近 


似 下 工 点 (ZK HL 入 )， 
步 3 对 于 某 种 价值 函数 W(z,aj, 选择 罚 参数 ok, 使 得 羽 是 该 函数 在 ZK 处 


的 下 降 方向 . 
步 4 Armijo 搜索 . 令 mk 是 使 下 列 不 等 式 成 立 的 最 小 非 负 整数 mm : 


gz 十 DTdh ap) 一 的 De ab) 生 7I0mW(Di aidk)， (12.43) 


令 ak := OP ZEH :一 2 十 QKGQK 
步 5 计算 


4 
4 VR(ZEHTD) 4 二 V9g(zkHl) 4k+1 三 呈 ， 
4 
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以 及 最 小 二 乘 乘 子 





人 LE 二 1 和 

二 | 三 (12.44) 
入 ki+1 
步 6 校正 矩阵 甩 为 Bi. 令 


下 一 Qidk，， 人 顺 三 VaoDZRHDNET AI) 一 VoD(ZR NEHT AT1)， 


外 人 
5SKSX 万 心态 太 





Ba 一 下 一 -十 太 ， (12.45) 
其 中 
加 二 大 狼 十 (1 一 儿 )Bksk， (12.46) 
参数 定义 为 
|， 若 si 过 0.2s7 DBksh， 
似 一 0.8st Bksk (12.47) 





若 577/ < 0.25; 万 5 
克 克 天 “ 志 DEF 
5 DBKSK SO 


步 7 令 大 := 天 十 1 转 步 1 





注 (1) 算法 辕 步 5 隐 含 地 假设 了 4x 是 行 满 秩 的 . 如 果 这 个 条 件 不 成 立 , 则 
在 计算 最 小 二 乘 乘 子 时 ,需要 使 用 计算 广义 你 的 技巧 , 即 此 时 为 








和 Ap+1 





LE 十 1 
(4 和 YA (12.48) 


其 中 4 是 4xsl 的 Penrose-Moore 广义 逆 . 
(2) 算法 B 引 步 3 弱 选 择 C, 价值 函数 


go) =jO) 二 oa [zl +llg(o)- 上 ， 


不 于 max{||Az|， ||Az|》， 
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任意 选择 一 个 6 > 0, 定义 罚 参 数 的 修正 规则 为 


0 1， 若 1 过 三 十 0， 
惟一 (12.49) 
(十 20) 一 1 在 博 ” < 世 十 0. 





在 本 节 最 后 , 需要 指出 的 是 , 对 于 无 约束 优化 问题 , 所 谓 的 “ 超 线性 收 和 敛 步 
成 立 , 即 如 果 x 驻 是 Fz) 的 稳定 点 , 且 Hesse 阵 V2 jz 正定 , 那么 只 要 迭代 序列 
{zt 一 2, 且 搜 索 方 向 满足 

1 |z2 十 大 一 屯 "| -0 
下 一 2 
对 于 充分 大 的 帮 , 就 必然 成 立 
太太 十 中) < zh 


换言之 , 对 于 无 约束 优化 问题 , 超 线性 收 和 敛 步 总 是 可 以 接受 的 . 但 是 对 于 约束 优 
化 问题 情况 并 非 如 此 , 即 对 于 有 些 约束 优化 问题 , 不 管 zx 如 何 靠近 z, 都 不 会 有 


gz 十 QI) 区 0DpI) 


成 立 , 且 允 十 驳 对 应 的 目标 函数 值 和 可 行 度 比 zx 对 应 的 目标 函数 值 和 可 行 度 还 
要 差 一 些 . 也 就 是 说 , 对 于 约束 优化 问题 , 在 这 种 情况 下 , 超 线性 收敛 步 是 无 法 接 
受 的 , SQP 方法 会 失去 收敛 阶 高 的 优点 , 人 们 把 这 种 现象 称 之 为 Maratos 效应 . 

为 了 殉 服 Maratos 效应 , 人 们 已 经 提出 了 许多 方法 , 如 放松 接受 试探 步 
姑 十 友 的 条 件 (Watchdog 技术 ); 或 者 引进 满足 ‖ausl = O(lesl2 的 二 阶 校正 步 
du, 使 得 相应 的 价值 函数 值 wz 十 哆 十 改 ,cc) < gzuo); 或 者 使 用 光滑 的 精确 罚 
函数 作为 价值 函数 , 以 提高 超 线性 收敛 步 接受 度 , 例如 , Schittkowski 提出 增 广 拉 
格 朗 日 函数 





















































(12.50) 


-并 (wpa-ango) -5 并 om 


JEJ(zu) JE 开 (zu) 


JU=tET9CSESUr Ko)=1ET9z) > Ar 让 
一 般 来 说 , 和 精确 罚 函 数 形式 简单 , 但 是 非 光 滑 , 增 广 拉 格 朗 日 函数 是 光滑 的 , 数 
值 计 算 结 果 较 好 . 
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12.4 SQP 方法 的 Matlab 程序 


本 节 讨 论 SQP 方法 的 Matlab 实现 . 注意 到 算法 国 每 一 迭代 步 的 主要 计算 
量 是 求解 子 问 题 (2.4 东 ,因此 , 我 们 先 讨论 子 问题 的 Matlab 实现 




















12.4.1 SQP 子 问题 的 Matlab 实现 
利用 KT 条 件 , 问题 等 价 于 

(AN=Bid-(42)70 一 (4 A++VFzn = 0， (12.51) 
万 2(d 和 A) 一 jz 十 42d = 0， (12.52) 
入 >0, g(zij 十 41d>0，X lz) 二 4d = 0. (12.53) 

注意 到 是 一 个 和 m 维 的 线性 互补 问题 , 我 们 定义 光滑 FB- 函 数 

(sai 人 一 a 十 一 Va2 十 好 十 252， 
其 中 = > 0 是 光滑 参数 . 令 


(ce, 入 ) 有 (0Oi(s,d， 入 )), gao(E, di， 入 )， nn ) 0m(E) dh 入 )) 





其 中 





和 人 人 为 = 入 十 攻 lz 十 (4 同一 娠 十 区 (za 十 (42 十 26 
其 中 (4 和 表示 抵 阵 外 的 第 ; 行 . 记 > = ( 吕 岂 E 了， x 机 "xxRm X 了 .那么 


方程 组 (2.5j-(2.59 等 价 于 


















































攻 
砚 (d 和 
天 汪 二 呈 允 二 | | (12.54) 
五 2(Q, /入 ) 
(Ed, 入 ) 
不 难 计算 出 巨 (z) 的 Jacobi 矩阵 为 
1 0 0 0 
7 14BNT 7 4 
刺 例 二 | 机 CA) (12.55) 
0 45 0 0 


U Dao(2)47 0 Di1(z) 
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其 中 信 王 VE(e,aq, 和) 本 (ua 下 全 人 由 下 式 确 定 





25 


VAX2 二 [gz 二 (41)id2 十 2c2 412.56) 





性 





而 Di(z) = diag(ai( 轨 ,am(2))) Da(z) = diag(b(2) ,bm(2) 其 中 aa(2),oi(z) 
由 下 式 确定 














Ai 
的 


gi(zp) 十 (di 














给 定 参数 7 e (0,1), 定义 非 负 函 数 





Baz) 三 ?| 二 (2 咱 minftl, | 从 (12.59) 


算法 36 (求解 子 问题 的 光滑 牛顿 法 ) 

步 0 选取 pi1E(01, so > 0 (dopoXo) ER xx 了 7 置 20 王 
(so do, no Xo), 达 = (so;,0;0,0). 选取 7E(0,1) 使 ynho< 芝 及 可 玖 (zol < 令 
7 := (0. 

步 1 如 果 | 瓦 (zj)= 0, 算法 终止 ; 否则 , 计算 Dj; = DB(zh)， 

步 2 求解 下 列 方程 组 得 解 Azj = (Asi) Adi,AnpiAN)， 




















步 3 设 mmi 为 满足 下 式 的 最 小 非 负 整数 : 
ECi+amAail<G-eG- Buopm]lE(zl (12.61) 


令 axj :一 0 忆 j 十 1 一 2 十 oAz2 5 
步 4 令 J:= 了 十 1 转 步 1 








下 面 我 们 给 出 算法 B6| 的 Matlab 程序 . 
程序 18 利用 光滑 牛顿 法 求解 二 次 规划 子 问题 . 
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function  [d,mu,1lam,Vval,k]=qpsubp(dfk,Bk,Ae,hk,Ai,gK) 
% 功能 : 求解 二 次 规划 子 问题 : min qk(d)=0.5*#d?#Bkkd+dfK?d+， 








办 S .七 . hk+Ae*+xd=0， gK+Ai*xkd>=0 . 
%Y 输 入 : dfKk 是 xk 处 的 梯度 ，Bk 是 第 k 次 近似 Hesse 阵 ，Ae ,hk 线性 等 式 约 束 
%% 的 有 关 参 数 ，Ai,gK 是 线性 不 等 式 约束 的 有 关 人 参数 


% 输 出 : ad,val 分 别 是 是 最 优 解 和 最 优 值 ，mu,1lam 是 乘 子 向 量 ，k 是 迭代 次 数 . 

n=length(dqfk); 1=length(hk); m=LIength(gK) ; 

gamma=0.05; epsilon=1.0e-6; Tho=0.5; Sigma=0.2; 

ep0=0.05; mu0=0.05#kZzeros(1,1); 1Lam0=0.05*kZzeros (m,1) ; 

d0=ones(n,1); uo=[ep0;zeros (n+1I+m,1)]; 

Zz0=[ep0; qd0; mu0;1am0 ,]; 

k=0; 和 为 迭代 次 数 

Z=Z0; ep=ep0; dq=d0; mu=mu0; am=]1am0 ; 

While (k<=150) 
dh=dah(ep,dq,mu,1am,dqfk,Bk,Ae,hk,Ai,gk) ; 
if(norm(dqh)<epsilon) 





break ; 
end 
A=JacobiH(Gep,dq,mu,1am,dqfk,BKk,Ae,hk,Ai,gk); 
b=beta(ep ,qdq,mu,1am,dqfk,BK,Ae,hk,Ai,gk,gamma)*uO-dh ; 
dz=ANb ; 
if(1L>0&m>O) 
de=dz(1) ; qd=dqz(2:n+1); qu=dqz (n+2:n+1l+1); dql=dz(n+1+2:D+1+m+1) ; 


de=dqz(1) ; ddq=dqz(2:n+1); qdql=dqz(n+2:n+m+l) ; 
end 
if (m==0) 
de=dqz(1) ; ddq=dqz(2:n+1); qu=dqz(n+2:n+1L+1) ; 
end 
i=0; Vmk=0; 
While (mm<=20) 
if(1L>0&m>O) 
dh1=dah(ep+rho”`ixkde ,dq+rho>~ikxkdd,mu+rho>`ikdu,1am+rho~ikdl ,dfk,BK,Ae,hk,Ai,gk) ; 


end 


dh1=dah(ep+rho`~ixkde ,qdq+rho~ikdd ,mu,1am+rho~ikdl ,dqfk,BK,Ae,hk,Ai,gk) ; 


.238 ， 


二 章 ”序列 二 次 规划 法 回 目 录 812.4 SQP 方法 的 MATLAB 程序 








end 
if (m==0) 
dh1=dah(ep+rho”`ikde ,qdq+rho”~ikdd,mu+rho`~ikdu,1am,dqfxk,BK,Ae,hk,Ai,gk) ; 
end 
if(norm(dqh1)<=(1-Sigmak(1-gammakep0O)#rho>~i)*xnorm(dhy) ) 
ImK=1I;i break; 
end 
II=i+l; 
if(i==20) ，mk=10; end 
end 
alpha=Trho~mk; 
if(1>0g&m>0) 
ep=ep+alphakde ; dq=d+alphakdd ; 
mu=mu+alphakdnu 工 am=]am+alphakd] ; 


end 


ep=ep+alphakde ; dq=d+alphakdd ; 
am=am+alphakd]; 
end 
if (m==0) 
ep=ep+alpharkde ; dq=dq+alphakdd ; 
mu=mu+alphakdnu 
end 
=K+1T ; 
end 
从 的 的 pp 的 狼 扩 扩 扩 从 扒 办 No 扩 
function p=phi(ep,a,b) 
pP=a+b-Ssqrt(a`2+b”`2+2*kep ”2) ; 
AAAAAOOAAAOAAAAOAAA 
function dh=dqah(ep,dq,mu,1am,dfk,Bk,Ae,hk,Ai,gk) 
Dn=lLength(dfk) ; LI=JIength(hk) ; m=length(gK) ; 
dh=zeros (n+J+m+1 ,1) ; 
dh(1)=ep; 
if(1>0&m>0O) 
dh(2 :n+1)=Bkkd-Ae?*mu-Ai7*k1am+dfk; 
dh (n+2:n+1+1)=hk+Aekd ; 


for(i=1:m) 
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dh (n+1+1+i)=phi(ep,1Lam(i) ,gk(i)+Ai(i,:)*d) ; 
end 
end 
if(1L==0) 
dh(2:n+1)=Bkkd-Ai 7?*klam+dfk; 
for(i=1:m) 
dh (Cn+1+i)=phi(Cep,1Lam(i) ,gEK(Ci)+ATI(TI，:)#d) ; 
end 
end 
if (m==0) 
dh(2:n+1l1)=Bkkd-Ae ，*mu+dfk; 
dh (n+2:n+1+1)=hk+Aekd ; 
end 
dh=dqh(:); 
AAAAAAAAAAAAAAAAAAAAA 
function bet=beta(ep,d,mu,1am,dqfk,BK,Ae,hk,Ai,gk,gamma) 
dh=dqah(ep,dq,mu,1lam,dqfk,Bk,Ae,hk,Ai,gk); 
bet=gamma#knorm(dh)*min(1,norm(Cdh) ) ; 
人 全 全 全 售后 全 合作 全 语 放 全 语 语 全 人 售 语 语 
function [ddl ,dd2,v1]j=ddv(ep,d,1am,Ai,gkKk) 
m=1Length(gK) ; 
dd1=zeros (m,m) ; dqd2=zeros (mm,m) ; v1=Zzeros(m,1) ; 
for(Ii=T1:m) 
fm=sqrt(1Lam(i) ”2+(gKCi)+ATI(iI，:)*d) ”~2+2kep ”2) ; 
dd1(i,i)=1-1Lam(Ci)Vfm; 
ddq2(i,i)=1-(gk(Ci)+Ai(C，:)*xd)Vfm; 
V1(i)=-2*xkep/fm; 
end 
AAAAAAAAAAAAAAAA 
function A=JacobiH(ep,d,mu,1lam,dqfk,BKk,Ae,hk,Ai,gK) 
Dn=1length(dqfk); 1=]ength(hk) ; m=1length(gK) ; 
A=Zzerogs (n+1+m+1 ,n+1L+m+1) ; 


[dad1 ,qd2 ,vi1]=ddqv(ep,d,1am,Ai,gKk) ; 


if(1L>0&m>0) 
A= [1 ， Zeros(1,D)， zeros(1,1)， zeros(1,m) ; 
Zerogs (mn ,1) ， Bk ， -Ae，， -Ai，; 
Zerogs (1 ,1) ， Ae ， Zerogs(1,1)， zeros(1,m) ; 
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V1， dd2*Ai ， zeros(m,1)， dd1l] ; 
end 
if(1L==0) 

A= [1 ， Zeros(1,Dn)， zeros(1,m) ; 

Zeros(n,1) ，BK， -Ai ; 

v1， dad2*Ai ， dd1] ; 
end 
if (m==0) 

A= [1 ， Zeros(1,Dn) ，zeros(1 ,1) ; 
zeros(n,1)， Bk， -Ae  ; 
zeros(1,1)， Ae， Zeros(1 ,1)]; 

end 





下 面 我 们 利用 程序 上 8 求解 三 个 分 别 是 纯 等 式 约 束 、 纯 不 等 式 约 束 以 及 混 
合约 束 的 二 次 规划 问题 . 


例 38 解 二 次 规划 问题 


min jz) 一 2 十 222 十 23 一 27172 十 03 
S.. 2Z1 十 Z2 十 Z3 一 4=0， 
271 一 2 十 23 一 2 一 0. 


21 43 3、 
该 问题 的 极 小 点 为 一 人 这 


11? 22， 22 
解 在 Matlab 命令 窗口 依次 输入 下 列 命 令 : 


dfk=[0O 0 1] ; 

Bk=[2 -2 0; -2 4 0; 0 0 2]; 

Ae=[1 1 1;2-=-1 1]; 

hk=[-4 -2] ，; 

Ai=[]; 

gk=[] ; 
[d,mu,1am,val,k]=qpsubp(dfKk,BK,Ae ,hk,Ai,gK) 


得 到 计算 结果 : 
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0.1364 
mu = 
2.6364 
-1.3636 
am = 
Empty matTrix: 0-by-1| 
Val = 
3.9773 
K = 
2 


例 39 解 二 次 规划 问题 


Imin Jo] = 5 邓 一 mazz 十 双 一 6 
s.t. 一 221 一 2 十 3 之 U， 

21 一 22 十 1 之 0Ui 

一 Z1 一 272 十 20; 


21,7Z2 之 0. 


5 4 1 
该 问题 的 极 小 点 为 ir 一 (5 ) 


373 
解 在 Matlab 命令 窗口 依次 输入 下 列 命令 : 


dfk=[-6 -2] |; 

Bk=[1 -1; -1 2] ; 

Ae=[ ] ; 

hk=[ ] ; 

Ai=[-2 -1;1 -1;-1 -2; 1 0; 0 1; 

gk=[3 1200]); 
[qd,mu,1am,val,k]=qpsubp(dfKk,BK,Ae ,hk,Ai,gK) 





得 到 计算 结果 : 
也 生 
1.3333 
0.3333 
mU 三 
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Empty matrix: 0-by-1 
am = 
2.4444 
0.0000 
0.1111 
0.0000 
0.0000 
Val = 
-8.1111 
K = 
5 


例 40 解 二 次 规划 问题 


min jz) 一 2Z1 十 Zi7o 十 222 一 621 一 272 一 1273 
S 怀 . 21 十 Z2 十 3 一 2 一 0U， 
兴 江 一 272 十 之 0U; 


Z1, 22,23 之 (0. 
该 问题 的 极 小 点 为 一 (0,0,2)7 
解 在 Matlab 命令 窗口 依次 输入 下 列 命 令 : 


dfk=[-6 -2 -12]，; 

Bk=[2 10;140;000]; 

Ae=[1 1 1]; 

hk=[-2]  ; 

Ai=[1 -2 0;100;010;001; 

gk=[3 0 0 0] ,; 
[qd,mu,1am,val,k]=qpsubp(dfKk,BK,Ae ,hk,Ai,gK) 


得 到 计算 结果 : 


d = 
0.0000 
0.0000 
2.0000 





ImU 
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12.0000 
am = 
0.0000 
6.0000 
10.0000 
0.0000 
Val = 
-24.0000 
KX = 
6 


12.4.2 SQP 方法 的 Matlab 实现 











本 小 节 给 出 SQP 方法 (算法 B 中 的 一 个 Matlab 程序 , 该 程序 在 某 种 意义 上 








是 通用 的 , 不 同 的 问题 只 需 编写 目标 函数 、 约 束 函 数 以 及 它们 的 梯度 和 Jacobi 
和 矩阵 的 M 文件 即 可 调用 该 程序 . 





程序 19 一 般 约 束 优 化 问题 SQP 方法 的 Matlab 程序 , 该 程序 在 每 一 迭代 


步调 用 了 程序 |18|qpsubp.m 求解 二 次 规划 子 问 题 . 


function [x,mu,1am,val,k]=sqpm(x0 ,mu0 ,1am0) 

% 功 能 : 用 基于 拉 格 朗 日 函数 Hesse 阵 的 SQP 方 法 求解 约束 优化 问题 : 

双 min f(x) sS. 七 .h_i(Gx)=0，i=1,...，1. 

% 输 入 : x0 是 初始 点 ，mu0 是 乘 子 向 量 的 初始 值 

% 输 出 : x，mu 分 别 是 近似 最 优点 及 相应 的 乘 子 ， 

%val 是 最 优 值 ，mh 是 约束 函数 的 模 ，K 是 迭代 次 数 ， 

maxk=100;  % 最 大 迭代 次 数 

Dn=Jength(x0) ; JI=length(mu0) ; m=lLength(1Lam0) ; 

rho=0.5; eta=0.1; BO=eye(Cn) ; 

X=X0;i mu=mu0; am=1am0 ; 

Bk=B0O; Sigma=0.8; 

epsilon1=1le-6; epsilon2=1e-5 

[hk ,gk]j=cons(X); dfk=df1(Xx) ; 

[Ae,Ai]j=dcons(x); Ak=[Ae; Ai] ; 

K=O ; 

While(Kk<maxK) 
[dk ,mu,1Lam]=qpsubp(dfk,Bk,Ae,hk,Ai,gk); Y 求 解 子 问题 
mp1=norm(hk ,1)+norm(mnax(-gKk,0) ,1) ; 
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if (norm(dqk ,1)<epsilon1)&(mnp1l<epsilon2) 
break ; 

end 《检验 终止 准则 

deta=0.05; V% 罚 参数 更 新 


tau=max (norm(mu,inf) ,norm(lam,inf)); 

















if(sSigmak (tau+deta)<1) 
Sigma=Sigma; 
else 
Sigma=1.0/(tau+2kdeta) ; 
end 
im=0O ; %Armijo 搜 索 
while(im<=20) 
if(phi1(Xx+rho>~imkdk,Sigma)-phil(x,sigma)<eta*krho~imkdphi1(Xx,sigma,dqK)) 
ImKX=:im; 
break ; 
end 
im=im+l ; 
if(im==20) ， Imk=10 ; end 
end 
alLpha=Trho`mk;i X1=X+alphakdk ; 
[hk ,gk]=cons (xl1); dfk=df1(xl1) ; 
[Ae,Ai]j=dcons (xl1); Ak=[Ae; Ai] ; 
lamu=pinv(AKk) :xdfk; % 计 算 最 小 二 乘 乘 子 
ifE(1L>Og&m>O) 


mu=1lamu(1:1); Lam=lamu(1L+1:1+m) ; 


end 
if(1==0) ，mu=[] ; Lam=lamu; end 
if(m==0) ，mu=lamu;i lam=[] ; end 





sk=alpha#kdk;  % 更 新 矩阵 Bk 
yKk=dlax(Xx1,mu,1am)-dqlax(x,mu,1am) ; 
IE(SK?*yKk>0 .2#kSK 7?BKkSK) 

theta=l1; 
else 

theta=0 .8#*SK 7?#BK#kSK/(SK #BKkSK-SK2yK) ; 
end 
ZK=theta#kyk+(1-theta)#kBKkSK; 
BK=BK+ZKkZK?/(SK)，ZK) 一 (BKkSKX)(BKkSK) 2 /CSK?BKkSKX) ; 
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X=XT; =K+l ; 
end 
Val=f1(x) ; 
MPp=phil(x,sigma) 
hdd=norm(dk) 
XXXX%X%% 工 精确 价值 函数 XXX 
function p=phi1(Xx,sigma) 
fE=f1(x); [h,g]=cons(x) ; gn=max(-g,0) ; 
10=Jength(h); mo=Jength(g) ; 
if(10==0) ，p=f+1.0/sigmaknorm(gn,1); end 
if(m0==0) ， p=f+1.0/sigmaknorm(h,1); end 
if(10>0&mO>0) 

p=f+1.0/sigmak (norm(h,1)+norm(Cgn,1)) ; 
end 
%X%X%% 价值 函数 的 方向 导数 X%XX% 
function dqp=dphil1(x,sigma,d) 
df=dqf1(x); [h,g]=cons(x);  gn=max(-g,0) ; 
10=Jength(h); mo=Jength(g) ; 
if(10==0) ， qdqp=df '*d-1.0/sigmaknorm(gn,1); end 
if(m0==0) ，dqp=df:*d-1.0/sigmaxknorm(h,1); end 
if(10>0&m0O>0) 

dp=df :*dq-1.0/sigmak (norm(h,1)+norm(gn,1)) ; 





end 

02XYXX%%% 拉 格 朗 日 函数 工 (和 ,mu) 0 区 2 区区 
function 1=1a(x,mu,1Lam) 

f=f1l(x);  % 调 用 目标 函数 文件 

[h,g]=cons(x); Y% 调 用 约束 函数 文件 
JI0=1]emgth(h); mo=length(g) ; 

if(10==0) ，1=f-1amkg;i end 

if(mn0==0) ， 1=f-mu?*kh; end 

if(10>0&mO>0) 


= 工 -mu "7#kh 一 am?g; 








end 

02XYXXX%X% 拉 格 朗 日 函数 的 梯度 XXXXXXXXX2X2% 
function dql=dqlax(x,mu,1Lam) 
df=df1(x); % 调 用 目标 函数 梯度 文件 
[Ae,Ai]=dcons(x); % 调 用 约束 函数 Jacobi 和 矩阵 文件 
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[ml1,m2]=size(Ai); [11,12]=size(Ae) ; 
if(1L1==0) ，dql1=df-Ai*lam; end 

if(m1==0) ，d1=df-Ae:*kmu;i end 
if(11>0&km1>0) ，dl1=dqf-Ae?:*mu-Ai*klam; end 


下 面 我 们 利用 程序 [来 计算 两 个 约束 优化 问题 的 极 小 点 . 
例 41 解 非 线性 规划 问题 


min jz) = 一 TZ172 
st 7TzZlZ2 十 T2Z1 一 150 一 0， 


21 之 0， 7Z2 之 (0. 


解 首先 编写 四 个 ma 函数 : 





0%X%X%X% 目标 函数 王 ( 科 ) XXX 
function f=f1(x) Ahf1.m 
=-pixx(1) >2#+X(C2) ; 

%X%%X%%%% 目标 函数 了 (x) 的 梯度 XXX 
function df=df1(x) Adfl.m 
df=[-2#kpikX(1)*Xx(2) , -pikXx(1) 2] 
XXX%%%2% 约束 函数 共和 区 区区 2 区区 区区 
function [h,g]=cons(x) Acons . 茵 
h= [pirkx(1)#*X(2)+pPikXx(C1) >“2-150] ; 
g=[x(1);x(2)] ; 
%XX%XX%% 约 束 函 数 Jacobi 和 矩阵 %XXX%XXX%% 
function [dh,dqg]=dcons (x) /hdcons . 茵 
dh=[pPikrkX(2)+2*pikx(1) ，Pixx(1)] ; 
dg=[1 0; 0 1]; 











在 Matlab 命令 窗口 依次 输入 下 列 命 令 : 





XO=[3 3] ，; 

mu0O=[0] : ; 

lam0=[0 0] ，; 

[x,mu,1am,val,k]=sdqpm(Cx0 ,mu0 ,1am0) 
得 到 计算 结果 : 
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1.0e-007 六 
0.4248 
0.0039 
Val = 
-398 .9423 
KX = 
8 


例 42 解 非 线 性 规划 问题 


min jz)= 王 2 十 2 一 1671 一 10zs 
st 一 和 4 十 6z1l 一 4z2 十 11 0， 
Z122 一 3zo 一 ez1 -3 十 1 > 0， 


21 之 0，22 0. 
解 首先 编写 四 个 m 函数 : 
2%XYX%X2%% 目标 函数 王 ( 科 ) 共 32222222 攻 
function f=f1(X) Ahf1.m 
f=Xx(1) ”2+X(2)>2-16*kXx(1)-10*xXx(2) ; 
%%XX%XX% 目标 函数 E(x) 的 梯度 XXXXXXX% 
function qdqf=df1(x) /hdfl.m 
df=[2*x(1)-16; 2#+kX(2)-10] ; 
00 约束 函数 XXX 2 
function [h,g]=cons(x) 4Vhcons . 茵 
h=[ ] ; 
g=[-x(1)>2+6*X(1)-4*xx(2)+11; ... 
Xx(1)*x(2)-3+x(2)-exp(x(1)-3)+1;x(1) ;Xx(2)] ; 
%%X%XX%% 约 束 函 数 Jacobi 和 矩阵 %%XX%XX 
function [dh,dqg]=dcons (X) /hdcons . 茵 
qh=[ ] ; 
dg= [-2*+kX(1)+6,-4;X(2)-exp(x(1)-3),x(1)-3;1,0;0，,1] ; 
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在 Matlab 命令 窗口 依次 输入 下 列 命 令 : 


XO=[4 4] ，; 

muO=[ ] ; 

1am0=[0 0 0 0] ; 
[x,mu,1am,val,k]=sqpm(Cx0 ,mu0 ,1am0) 





得 到 计算 结果 : 
广 一 
5.2396 
3.7460 
如 中 -二 


Empty matrix: 0-by-1 


1. 用 SQP 方法 求解 问题 
min jz) = Z1 十 Z2， 
st 2Z2 一 21>0. 


初始 点 为 20 一 (0,0) 瑟 : 用 两 种 取 法 



































(2) 取 Bo = 了 工 (单位 阵 ), 并 采用 校正 公式 (12.45) ~ (12.47) 校正 瑟 5. 


2， 用 线 搜索 全 局 SQP 方法 求解 问题 





min jz) 三 一 Z1 一 To2) 
st 一 2 十 Za 二 0， 


一 2 一 22 十 1 0 
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此 问题 的 最 优 解 为 ze = 【> ， 汪 ) 取 初 给 点 mo = (二 1 “ANa 一 (0.0)7, 防 用 两 各 方式 
计算 : 

全 误 三 到 区 

(2) 取 Bo = 了 工 (单位 阵 ), 并 采用 校正 公式 (12.45) ~ (12.47) 校正 瑟 /. 

3， 考 虑 最 优化 问题 














min jz) = 一 zi 十 2(z1 十 2 一 了 )， 


st 22 十 22 一 工 =0. 

















若 取 价 值 函数 为 Fletcher 精确 罚 函 数 , 试问 单位 步 长 能 否 使 价值 函数 下 降 ? 
4， 设 等 式 约 束 优 化 问题 为 





























(1) 取 初 始点 zo = (-2, 一 2) 7 初始 矩阵 Bo = 了 工 (单位 阵 ). 用 步 长 为 1 的 SQP 方法 求 

















(2) 取 互 = (-0.8, 一 11)7 入 = 一 0.8. 求 玉 > 0, 使 得 0<7 < 六 时 ， 


V2L(E 信 +Vo(z)vg(j 





5.， 用 光滑 牛顿 法 的 Matlab 程序 求解 二 次 规划 子 问题 








| 
(1) min jz) = 了 (2Z1 H 2z2 一 201272 十 23)， 
S 习 . X1 十 22 一 3 一 二 ， 


必 ll1 一 202 十 Z3 一 一 2. 
(2) min jz) = 王 2 十 Z2， 


St. 一 271 一 22 十 2 之 0， 


2Z2 一 1 之 0 


6. 用 SQP 方法 的 Matlab 程序 求解 下 列 优化 问题 





(1) min jz)=(z 一 2) 上 (zi 一 2zo)2， 
取 初 始点 zo = (0,0), 初始 矩阵 Bo = 工 (单位 阵 ). 
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(2) min jz) = er 722 十 和 十 20172 十 22 十 221 十 6z2， 
st 2 一 21 一 22 之 0， 


2Z1,2Z2 0. 


取 初 始点 zo = (2,0) 初始 矩阵 Bo = 了 工 (单位 阵 ). 
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在 科学 工程 领域 中 , 优化 问题 有 着 十 分 广泛 的 应 用 . 根据 数学 理论 定义 , 优 
化 是 指 在 茶 种 约束 条 件 下 , 寻求 目标 函数 的 最 大 值 或 者 最 小 值 . 将 上 面 的 定义 转 


























mi 帮 2)， 











在 上 面 的 公式 中 , z 表示 变量 向 量 , 即 z = (zi ,2zZn)，jFz) 是 优化 情况 下 的 目 
标 函 数 ,9 表示 的 是 所 承受 的 约束 条 件 . 如 果 没 有 接受 任何 的 约束 条 件 , 或 者 9 
是 数值 条 件 下 的 全 集 , 则 该 优化 为 无 约束 优化 ; 否则 , 则 是 约束 优化 . 本 节 首 先 介 
绍 无 约束 优化 的 内 容 , 然后 约束 优化 的 内 容 , 最 后 , 将 介绍 线性 规划 和 二 次 规划 
这 两 种 在 实际 中 比较 常见 的 优化 问题 . 

本 附录 将 简要 介绍 Matlab 软件 的 Optimization Toolbox (优化 工具 箱 ) 的 使 
用 方法 , 所 涉及 的 内 容 将 都 是 MATLAB 内 置 的 函数 , 有 些 比较 复杂 的 优化 处 理 
工具 会 涉及 Optimization Toolbox 中 的 函数 和 内 容 . 如 果 和 希望 自行 演示 本 附录 中 
的 程序 代码 , 请 选择 安装 Optimization Toolbox 组 件 . 






























































A.1 线性 规划 


线性 规划 是 一 种 特殊 的 优化 问题 , 目标 函数 和 约束 条 件 都 是 线性 的 . 对 于 这 
种 优化 问题 , 可 以 使 用 比较 特使 的 方法 来 求解 , 典型 的 线性 规划 问题 为 : 








min Fz) 一 cz 


4.7 扎 册 
st 4e.7z=be， 


1 扩 Z 殷 10. 
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在 MATLAB 优化 工具 箱 中 , 求解 线性 规划 的 命令 为 linprog, 其 完整 的 调用 
格式 如 下 : 

[xfvalexitHag,output,lambdal=linprog(c,A,b,Ae,be,lbub,x0,options) 

输入 参数 : 参数 c 表示 目标 函数 中 的 常 向 量 , x0 表示 的 是 优化 的 初始 值 , 参 
数 A, b 表示 的 是 满足 线性 关系 式 4z <《) 的 系数 矩阵 合 结果 矩阵 ; 参数 Ae, be 
表示 的 式 满足 线性 等 式 4e.z = be 的 和 阵 ; 参数 Ib, up 则 表示 满足 参数 取 值 范 围 
1<Zz 芭 的 上 限 和 下 限 ; 参数 options 就 是 进行 优化 的 属性 设置 ; 

输出 参数 : exitfag 表示 程序 退出 优化 运算 的 类 型 ， OUtpUt 参数 包含 多 种 关 
于 优化 的 信息 , 包含 iterations 等 ; 参数 lambda 则 表示 各 种 约束 问题 的 拉 各 明日 
参数 数值 . 


例 43 求解 线性 规划 , 其 中 目标 函数 为 Flz) = -3zl 一 27a， 其 中 参数 满足 下 
面 的 关系 式 : 0 < Zi, za 莹 10. 同时 , 该 目标 函数 满足 下 面 的 约束 条 件 : 





























321 十 47o5 < 人 
2721 十 Z2 二 3， 
一 321 十 275 三. 


1. 在 MATLAB 的 命令 窗口 中 输入 下 面 的 程序 代码 : 


Xx0O=[0 0] ，; 

c=[-3 -2]，; 

A=[3 4;2 1 ; 

b=[7 3] ; 

Ae=[-3 2] ; 

be=2 ; 

lb=[0 0]  ; 

ub=[10 10]  ; 

[x,fval,exitflag,output ,Lambda]j=1inprog(c,A,b,Ae,be,1lb,ub,X0O) ; 

2. 查看 线性 规划 求解 的 结果 . 在 命令 窗口 中 输入 下 面 的 程序 代码 

X，fval 

说 明 : 从 上 面 的 结果 中 可 以 看 出 , 使 用 线性 规划 求解 的 最 优 解 为 (0.3333, 1.500)， 
对 应 的 最 优 解 对 应 的 函数 值 为 一 4. 


说 明 : 函数 linprosg 的 输入 参数 x0 是 可 选 的 , 我 们 看 下 面 的 例子 . 
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例 44 求解 下 面 的 线性 规划 : 


现行 
一 571 十 472 十 273， 
621 一 0o 十 23 苹 8%， 
01 十 272 十 473 区 10， 
令 窗 


--T<ZzZ1S<3， 
0 近 Z2 苹 2， 


在 MATLAB 的 命 口中 输入 下 面 的 程序 代码 : 


c=[-5 4 2] ，; 

A=[6 -1 1;124]; b=[8 10] ); 

Ae=[ ]; be=[ ]; 

lb=[-1 0 0] ; 

ub=[3 2] ， ; 

[x,fval,exitflag,output ,Lambda]j=1inprog(c,A,b,Ae,be,lb,ub); 


A.2 二 次 规划 


二 次 规划 是 指 其 目标 函数 2 次 多 项 式 而 约束 函数 全 部 是 线性 函数 的 优化 问 
题 , 标准 的 二 次 规划 格式 如 下 : 


min 帮 z) 一 5z7Hz 十 cx 
st.4.7Z 扎 b 
4e.7Z 一 be 
0 <Z 芝 VD 
在 MATLAB 中 , 求解 二 次 规划 的 命令 为 quadprog, 其 完整 的 调用 格式 如 下 : 


[xfvalexitHag,output,lambdal=quadprog(c,A,b,Aeqd,pbeq,lb,ub,x0,options) 
关于 该 命令 中 的 各 个 参数 的 含义 , 请 参考 前 面 的 lnprog 命令 . 


例 45 求解 二 次 规划 , 其 目标 函数 为 : 





工 
Imin 帮 Z) 二 人 十 22 一 Zl72 一 271 一 672 
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约束 条 件 为 : 
21 十 Za2 所 2， 
一 Z1 十 272 入 2 
271 十 Z2 六 3， 


Z1 之 0 72 > 0. 





1. 将 二 次 规划 进行 转换 , 转换 为 标准 形式 . 根据 线性 代数 知识 , 得 到 的 结果 


2. 进行 二 次 规划 求解 . 在 MATLAB 的 命令 窗口 中 输入 下 面 的 代码 : 


H=[1 -1;-1 2] ; 

c=[-2;-6] ; 

A=[1 1;-1 2;2 1] ; 

b=[2;2;3] ; 

lb=[0;0] ; 

[x,fval ,exitflag,output ,Lambda]j=quadprog(H,c,A,b,[,D,1b); 





3. 查看 二 次 规划 求解 的 结果 . 在 MATLAB 的 命令 窗口 中 输入 代码 : 

X，fval 

在 上 面 的 二 次 规划 问题 中 , 求 得 的 最 优 解 为 (0.6667，1.3333), 对 应 的 函数 数 
值 为 一 8.222. 


A.3 无 约束 非 线性 优化 


在 上 面 介 绍 过 , 无 约束 优化 相当 于 约束 集 为 全 集 . MATLAB 为 解决 非 约束 
优化 提供 fminsearch 和 fminunc 函数 , 其 对 应 的 详细 调用 格式 如 下 : 

[xfvalexitHag,output] = fminsearch(fun,x0,options) 

在 上 面 的 命令 格式 中 , 参数 比较 繁多 , 下 面 分 别 分 详细 介绍 . 

输入 参数 : 参数 “fun” 表 示 优 化 的 目标 函数 , 参数 “” 表 示 执 行 优 化 的 初始 
数值 , 参数 “options” 表 示 进 行 优 化 的 各 种 属性 , 一 般 需 要 使 用 optimset 函数 进 
行 设置 . 
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输出 参数 : 参数 “x” 表 示 最 优 解 ; “fval” 表 示 最 优 解 对 应 的 函数 值 ; 参数 
“exitHag” 则 表示 函数 退出 优化 运算 的 原因 , 取 值 为 1、0 和 -1. 其 中 数值 1 表 
示 函 数 收敛 于 最 优 解 , 0 则 表示 函数 欠 代 次 数 超过 了 优化 属性 的 设置 , -1 则 表示 
优化 大 代 算法 被 output 函数 终止 ; 参数 “output” 是 一 种 结构 变量 , 显示 的 是 关 
于 优化 的 属性 信息 , 例如 优化 欠 代 次 数 和 优化 算法 等 

说 明 : 在 MATLAB 中 , fminsearch 一 般 适 用 于 没有 约束 条 件 的 非 线性 优化 
情况 , 对 于 线性 优化 的 情况 , 将 在 后 面 介绍 . 

fminunc 函数 的 调用 格式 如 下 : 

[xfvalexitHag,outfHag,grad,hessian| = fminunc(fun,x0,options) 

该 函数 的 大 部 分 参数 的 含义 和 fminsearch 函数 相同 , 而 输出 参数 “grad” 
表示 的 是 函数 在 最 优 解 下 的 梯度 ; 参数 “hessian” 则 表示 目标 函数 在 最 优 解 的 
Hessian 和 窍 阵 数值 ; 参数 “exitHag” 表 示 的 也 是 停止 最 优 解 的 类 型 , 但 是 其 取 值 
包括 了 -2, -1 0, 1 2 和 3. 因此 , 该 函数 比 上 面 的 函数 能 够 更 加 详细 地 摘 述 优 
化 情况 . 关于 其 具体 的 含义 , 可 自行 查看 相应 的 帮助 文件 . 

下 面 看 一 个 无 约束 非 线 性 优化 实例 

例 46 求解 二 元 函数 Flz) = 324 十 2zlzo 十 Z2 在 全 集 范 围 之 内 的 最 小 值 ,分 
别 使 用 不 同 的 优化 函数 和 优化 属性 . 为 了 让 读者 能 够 直观 查看 优化 求解 情况 ,可 
以 在 求解 之 后 绘制 二 元 函数 的 图 形 . 





















































1. 选择 命令 窗口 编辑 栏 中 的 “File-New”-“M-File” 命 令 , 打开 M 文件 编 
辑 器 , 在 其 中 输入 下 面 的 程序 代码 : 








function[f ,g]=optfun(xy) 

f=3xX(1)>2+2*kx(1)*Xx(2)+X(2) > 2; 

If nargout>1T 
g(C1)=6*xXx(1)+2*X(2) ; 
g(42)=2*#X(1)+2#+X(2) ; 


end 


在 上 面 的 程序 代码 中 , g 表示 的 是 f 函数 的 梯度 . 

在 输入 完 上 面 的 程序 代码 后 , 将 该 代码 保存 为 “optfun.m” 文 件 . 

2. 选择 优化 的 初始 数值 1 ,iJ, 分 别 使 用 不 同 的 函数 求解 优化 . 在 MATLAB 
命令 窗口 中 输入 下 面 的 程序 代码 : 

Xx0 王 [1 1]; 


.256 . 





附录 4 M4TT4B 优化 工具 箱 简介 8A.4_ 非 线性 最 小 二 乘 问题 








options=optimset('Display”, iter ,TolFun” le-18,GradObj on7); 

[xfvalexitHag,output,gradj=fminunc(Qoptfun,x0,options) 

[xl,fvall,exitHagl,outputlj=fminsearch(Qoptfun,x0,options) 

说 明 : 在 上 面 的 结果 中 , 使 用 fminuc 函数 的 最 优 解 为 (0,0), 而 且 迭 代 的 次 数 
为 2, 对 应 的 优化 求解 方法 为 “large-scale:trust-region Newton”; 使 用 fminsearch 
函数 求解 的 最 优 解 为 (0,0), 且 和 迭代 次 数 为 81, 使 用 的 优化 求解 方法 为 “Nelder- 
Mead simplex direct search”. 因此 , 在 相同 的 初 值 条 件 下 , 两 个 方法 求解 的 性 质 
不 同 

3 选择 优化 的 初始 值 志 -1, 1], 分 别 使 用 不 同 的 函数 求解 优化 . 在 MATLAB 
的 命令 窗口 中 输入 下 面 的 程序 代码 : 

x0 一 [1]; 

options=optimset("Display”, iter ,TolFun ,le-18,GradObpbj on7); 














[xfvalexitHag,output;gradj=fminunc(Qoptfun,x0,options) 

[xl,fvall,exitHagl,outputlj=fminsearch(Qoptfun,x0,options) 

从 上 面 的 程序 结果 中 可 以 看 出 , 当 修 改 优 化 的 初始 条 件 后 , 各 种 优化 函数 使 
用 的 迭代 次 数 会 明显 的 改变 . 因此 , 设置 初 值 将 直接 影响 优化 求解 的 效率 . 








A.4 非 线 性 最 小 二 乘 问题 


非 线性 最 小 二 乘 问题 (nonlinear least-squares) 是 非 线 性 约束 优化 的 一 种 特 
例 , 其 优化 的 目标 函数 为 


Imin 和 户 (z)， 
和 =1 


在 MATLAB 中 , 为 了 求解 非 线 性 最 小 二 乘 问题 , 提供 lsgqnonlin 函数 命令 , 其 最 
完整 的 调用 格式 如 下 : 
[x;resnormresidual,exitfag,output,lambadal=lsqnonlin(fun,x0,lb,upb;options) 
在 上 面 的 命令 中 , 函数 的 参数 比较 复杂 , 下 面 详细 介绍 各 参数 的 具体 合 义 . 
输入 参数 : 参数 fun 表示 优化 的 目标 函数 , 参数 x0 表示 优化 的 初 值 条 件 ， 
lb 是 进行 优化 求解 的 下 限 , ub 是 进行 优化 求解 的 上 限 , 相当 于 ]Ib<x<ub; 参数 
options 则 表示 优化 求解 的 优化 属性 . 
输入 参数 : 参数 x 表示 所 求 的 最 优 解 ; 参数 resnorm 则 表示 二 阶 范 数 , 在 数 
值 上 等 于 sum(fun(x). 汶 ; 参数 residual 则 表示 优化 求解 后 的 残 数 ; 参数 lambda 则 
表示 在 最 优 解 处 的 拉 各 上 朗 日 数值 ; 其 他 参数 和 其 他 优化 命令 中 含义 相同 . 





一 :2 
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4 JJM4TL4B 优化 工具 箱 简介 8A.5 约束 条 件 的 非 线 性 优化 命令 











同时 





但 : 





困难 ， 











提示 : 在 上 面 的 命令 格式 中 , 并 不 是 所 有 的 参数 都 是 必须 输入 的 . 在 参数 








输入 部 分 , 只 有 fun, x0 是 必须 输入 的 , 而 在 输出 参数 部 分 , 则 只 有 x 是 必须 的 . 
MATLAB 之 所 以 提供 上 面 的 许多 参数 , 是 为 了 方便 用 户 自行 研究 和 比较 优化 的 

















下 面 看 一 个 非 线性 最 小 二 乘 问题 实例 . 


例 47 以 函数 lz) = 于 为 基准 函数 ， 对 其 进行 非 线性 最 小 二 科 运 算 ， 


以 最 小 二 乘 为 目标 进行 数据 拟 合 . 


1. 选择 命令 窗口 编辑 栏 中 得 “File-New”-“M-Eile” 命 令 , 打开 M 文件 编 
#, 在 其 中 输入 下 面 得 程序 代码 : 

function 上 一 fq(al) 

xx 一 -2 十 [0:200]/50; 

了 =polyval(a,xx)-1./(1 十 8#xX.”xXX)i 

在 输入 上 面 的 程序 代码 后 , 将 上 面 的 程序 代码 保存 为 “Hqm” 文 件 . 

2. 进行 非 线 性 最 小 方差 求解 . 在 MATLAB 的 命令 窗口 中 输入 下 面 的 程序 代 














入 一 5; 

a0 王 Zeros(1,N ); 

]b=-1*ones(1;N); 

ub= ones(1;N); 

options=optimset(7Display”, iter ,TolFun7 ,le-18,Gradobj on 7 ); 
[xresnormuresidual,exitfag,output,lambdal=lsqnonlin( 导 da0,Ib,ub,options); 


3. 查看 程序 结果 . 在 输入 上 面 的 程序 代码 后 , 按 “Eenter” 键 , 得 到 的 结果 如 











区 
TeSnOIIn 
exitfag 
OUtpUt 


A.5 约束 条 件 的 非 线 性 优化 命令 


有 约束 条 件 的 优化 情况 比 无 约束 条 件 的 优化 情况 要 复杂 得 多 , 处 理 起 来 也 更 
种 类 也 比较 繁杂 . 这 里 仅 限 于 讨论 MATLAB 内 置 函 数 fmincon 的 使 用 方 
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附录 4 MA4TT4 优化 工具 箱 简介 8A.5 约束 条 件 的 非 线性 优化 命令 











法 . 首先 , fmincom 函数 主要 用 于 解决 具有 下 面 约束 条 件 的 优化 





Imin 帮 Z) 
ctZ) < 0， 
ce(Z) = 0， 
S. 怀 . 4.7 芝 D， 
4e.7Z 一 be， 


0 芝 Z 近 10. 


该 函数 的 完整 调用 格式 如 下 : 

[xfvalexitHag,output,lambdal 

=fmincon(fun,x0,A,b,Ae,pe,lbub,nonlcon;,options) 

该 函数 的 参数 比较 复杂 , 下 面 详细 介绍 各 种 参数 的 含义 . 

输入 参数 : 参数 fun 表示 的 是 优化 目标 函数 , x0 表示 的 是 优化 的 初始 值 , 参 
数 A, b 表示 的 是 满足 线性 关系 式 4z < 2 的 系数 矩阵 合 结果 矩阵 ; 参数 Ae, be 
表示 的 式 满 足 线性 等 式 4e.z = pe 的 矩阵 ; 参数 lb, ub 则 表示 满足 参数 取 值 范 
围 刀 <z 芭 了 刻 的 上 限 和 下 限 ; 参数 nonlcon 则 表示 需要 参数 满足 的 非 线 性 关系 
式 c(z)j 和 0 和 ce(z) = 0 的 优化 情况 ; 参数 options 吕 是 进行 优化 的 属性 设置 ; 

输入 参数 : exitHag 表示 程序 退出 优化 运算 的 类 型 , 取 值 为 -2，-1 0，1，2， 
3, 4 和 5, 其 数值 对 应 的 类 型 在 此 不 作 详 细 说 明 . output 参数 包含 多 种 关于 


优化 的 信息 , 包含 iterations、funcCount、algorithm、 cgiterations、 stepsize 和 























firstorderopt 等 ; 参数 lambda 则 表示 lower、upper、ublneqlin、eqlin、inednonlin 
和 eqnonlin 等 , 分 别 表 示 优 化 问题 的 各 种 约束 问题 的 拉 各 肯 日 参数 数值 . 
下 面 给 出 一 个 约束 条 件 的 非 线性 优化 实例 . 


例 48 求解 在 约束 条 件 0< Zi1 十 2z? 十 373 < 72, 函数 j(z) = 一 Z172273 的 最 
小 值 的 最 优 解 以 及 最 优 解 的 数值 . 
1. 转换 约束 条 件 , 将 上 面 的 约束 条 件 转换 为 下 面 的 关系 式 
一 
| Z1 十 273 十 373 < 72. 


提示 : 由 于 在 fmincon 中 , 所 有 的 约束 条 件 都 是 以 上 面 的 不 等 式 形式 出 现 的 ， 
因此 在 本 步 又 中 需要 将 原来 的 约束 条 件 转换 为 不 等 式 方程 组 . 
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附录 4 1M47748 优化 工具 箱 简 介 国 目 攻 8A.5 约束 条 件 的 非 线性 优化 命令 











2. 选择 命令 窗口 编辑 栏 中 的 “File”-“New”-“M-File” 命 令 , 打开 M 文 
件 安 编辑 器 , 在 其 中 输入 下 面 的 程序 代码 ; 

function 全 optcon(X) 

全 -X()*x(2)#x(3); 

将 上 面 的 程序 代码 保存 为 “optcon.m” 文 件 , 该 文件 将 是 最 优 解 的 目标 函数 . 

3. 在 MATLAB 的 命令 窗口 中 输入 下 面 的 程序 代码 : 

A=[-1-2-3;123|; 

b=|0;72]; 

Xx0=[10;10;10]; 

[x,fvalexitHag,output,lambdal=fmincon(Qoptcon;x0,A,p); 

4. 查看 优化 信息 . 在 输入 上 面 的 程序 代码 后 , 按 “Enter” 键 , MATLAB 将 
会 进行 优化 运算 , 并 显示 对 应 的 优化 信息 ; 

在 上 面 的 程序 中 显示 了 实质 起 作用 的 约束 条 件 和 优化 中 正 的 类 型 ， 

5 查看 优化 的 结果 . 在 MATLAB 的 命令 窗口 中 输入 下 面 的 程序 代码 : 


区 




















fwval 

OUtpUt 

6. 重新 设置 优化 条 件 , 进行 优化 运算 . 将 最 优 问题 的 约束 条 件 修 改 为 下 面 的 
关系 式 : 





必 2 艾 95， 
3 苹 10， 


21 十 272 十 373 过 72， 





同时 , 将 初 值 设置 为 1 1,H, 然后 进行 优化 求解 , 得 到 的 结果 如 下 : 
Xx0 王 [1 111]; 

A=|1;2,3;0,1,0;0;0,1]; 

b=|[72;5;10]; 
[xfvalexitHag,output,lambdal=fmincon(Qoptcon;x0,A,p); 

fval 

exitfag 

OUtpuUt 
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附录 4。 M4TT4B 优化 工具 箱 简介 8A.6 最 小 最 大 值 的 优化 问题 








提示 : 从 上 面 的 条 件 可 以 看 出 , 当 修 改 关 于 优化 的 各 种 属性 后 , 优化 问题 会 
发 生 质 的 改变 , 因此 在 进行 优化 求解 问题 的 时 候 , 需要 特别 注意 优化 求解 的 条 件 . 








A.6 最 小 最 大 值 的 优化 问题 


最 小 最 大 值 的 优化 问题 函 是 以 个 比较 特殊 的 问题 , 其 表示 的 是 从 一 系列 最 大 
值 中 选取 最 小 的 数值 , 相当 于 求解 下 面 的 优化 问题 : 





min max{ 羽 ()} 
约束 条 件 为 : 

ctZ) < 0， 

ce(Z) = 0， 

4.7 苹 D 

4e.zZ 一 be， 

0 芝 Z 反 10. 
在 上 面 的 目标 函数 中 , F(z) = (下 (2 瑟 (z) Prn(z)) 7 MATLAB 提供 了 函数 
fminmax 来 求解 最 小 最 大 值 优化 问题 , 该 函数 的 参数 和 使 用 方法 和 前 面 介绍 的 
fmincon 完全 相同 , 这 里 不 重复 介绍 . 下 面 使 用 简单 的 实例 来 介绍 如 何 使 用 该 函 

例 49 求解 函数 下 (z) = ( 珈 (z… , 古 (z)) 的 最 小 最 大 值 ， 其 中 各 分 量 函 

数 依 次 为 (z) = 2z? 十 2 一 4871 一 40zs 二 125,， 有形 (z) = 一 z 一 372，13(Z) 一 
Z1 十 3 一 18，Pa(zZ) = 一 Z1 一 2 和 85(Z) =21 十 Z2 一 8. 























1. 选择 命令 窗口 中 的 “File”-“New”-“M-File” 命 令 , 打开 M 文件 编辑 
器 , 在 其 中 输入 下 面 的 程序 代码 : 





function f=mnmax(X) 

f(1)=2*xx(1)>2+X(2) ”2-48*+kx(1)-40*Xx(2)+125 ; 
f(2)=-X(C1) ”2-3*xX(2) > 2; 
f(3)=x(1)+3+kX(2)-18 ; 

f(4)=-X(1)-Xx(2) ; 

f(5)=X(1)+X(C2)-8; 
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附录 4 M4TT4 优化 工具 箱 简介 $A.6 最 小 最 大 值 的 优化 问题 








在 输入 上 面 的 程序 代码 后 , 将 该 代码 保存 为 “mnmaxm ”文件 . 

2. 求解 最 小 最 大 值 的 优化 问题 , 在 MATLAB 的 命令 窗口 中 输入 下 面 的 程序 
代码 : 

x0=[0.1;0. 

[xfvallj=fminimax(Qmnmax,x0) 


在 上 面 的 求解 过 程 中 , 首先 设置 了 初 值 条 件 , 然后 直接 调用 函数 求解 优化 问 
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